Chatbot customization

הרקע לפרויקט:

ה Chatbots [ 1,2,3] פולשים לחיינו ואנו נפתח מערכת מערכת לשילובם במחשבים נידים
כיום קימים מגוון של Chatbots, בפרויקט זה נסקור את הקיים בשוק ונתמקד בעלות מיטבית תוך שמירה על רמת ביצועים סבירה [ 3]
בהמשך תבחן גם אפשרות לשילוב המערכת ברובוט חברתי [7] אשר משמש ככוח עזר בבית חולים.

מטרת הפרויקט:

בפרויקט זה נפתח מערכת שמע ובינה מלאכותית הכוללת:
1) הרכשת הדיבור בעזרת מיקרופון/מערך מיקרופונים [6]
2) עיבוד ראשוני של אות הדיבור (יבחן שילוב אלגוריתם ניקוי רעשים שפותח במעבדה)
3) זיהוי דיבור (העברת שמע לטקסט) [4]
4) צ'אטבוט
5) מערכת text-to-speech שתיצור אות דיבור מהטקט שחיבר הצ'אטבוט [5]
6) שידור הדיבור ברמקול.
הדגש בפרויקט יהיה על שילוב הצ'אטבוט במערכת עם מימוש ב PC וברובוט בסביבת ROS [8]

תכולת הפרויקט:

1. בחירת chatbot לפרויקט ולהגדירו כמומחה לתחום מסויים – למשל : אינטראקציה עם זקנים , מועדון של אוהדי מכבי תל אביב וכו
2. הפעלת ASR & TTS
3. שילוב מערך מיקרופונים
4. בחינת ביצועים של המערכת

קורסי קדם:

פיתון ברמה גבוהה

מקורות:

1. https://openai.com/blog/introducing-chatgpt-and-whisper-apis
2. https://bard.google.com/chat
3. https://lmsys.org/blog/2023-03-30-vicuna/
4. https://cloud.google.com/speech-to-text
5. https://cloud.google.com/text-to-speech?hl=en
6. Microphone array HW site : https://www.seeedstudio.com/ReSpeaker-Mic-Array-Far-field-w-7-PDM-Micro… , https://wiki.seeedstudio.com/ReSpeaker_Mic_Array/
7. https://pal-robotics.com/robots/ari/
8. https://www.ros.org/