Chatbot customization

הרקע לפרויקט:

פסקה המתארת את הטכנולוגיה הרלוונטית לפרויקט ואת משמעות הפרויקט בהקשר זה ה Chatbots ^{[ 1,2,3]} פולשים לחיינו ואנו נפתח מערכת מערכת לשילובם במחשבים נידים
כיום קימים מגוון של Chatbots, בפרויקט זה נסקור את הקיים בשוק ונתמקד בעלות מיטבית תוך שמירה על רמת ביצועים סבירה ^[3] בהמשך תבחן גם אפשרות לשילוב המערכת ברובוט חברתי ^[7] אשר משמש ככוח עזר בבית חולים.

מטרת הפרויקט:

בפרויקט זה נפתח מערכת שמע ובינה מלאכותית הכוללת:

1. הרכשת הדיבור בעזרת מיקרופון/מערך מיקרופונים ^[6]
2. עיבוד ראשוני של אות הדיבור (יבחן שילוב אלגוריתם ניקוי רעשים שפותח במעבדה)
3. זיהוי דיבור (העברת שמע לטקסט) ^[4]
4. צ'אטבוט
5. מערכת text-to-speech שתיצור אות דיבור מהטקט שחיבר הצ'אטבוט ^[5]
6. שידור הדיבור ברמקול.

הדגש בפרויקט יהיה על שילוב הצ'אטבוט.

תכולת הפרויקט:

1. בחירת chatbot לפרויקט ולהגדירו כמומחה לתחום מסויים – למשל : אינטראקציה עם זקנים , מועדון של אוהדי מכבי תל אביב וכו
2. הפעלת ASR & TTS
3. שילוב מערך מיקרופונים
4. בחינת ביצועים של המערכת

קורסי קדם:

• פיתון

דרישות נוספות:

• פיתון ברמה גבוהה

מקורות:

1. https://openai.com/blog/introducing-chatgpt-and-whisper-apis
2. https://bard.google.com/chat
3. https://lmsys.org/blog/2023-03-30-vicuna/
4. https://cloud.google.com/speech-to-text
5. https://cloud.google.com/text-to-speech?hl=en
6. Microphone array HW site : https://www.seeedstudio.com/ReSpeaker-Mic-Array-Far-field-w-7-PDM-Micro… , https://wiki.seeedstudio.com/ReSpeaker_Mic_Array/
7. https://pal-robotics.com/robots/ari/