Audio-Visual Speaker Diarization

הרקע לפרויקט:

בעידן של היום, שבו טכנולוגיות אודיו ווידאו משתלבות בתחומים רבים כמו תקשורת, אבטחה ומערכות מולטימדיה, זיהוי דוברים מדויק הוא אתגר משמעותי. מערכות קיימות מתמקדות בעיקר בזיהוי דוברים על בסיס שמע בלבד, אך במצבים מורכבים, כמו סביבות רועשות או עם ריבוי דוברים, דיוק הזיהוי עלול להיפגע. המערכת המוצעת, המשלבת מידע קולי וויזואלי, תאפשר זיהוי ורישום דוברים בצורה אמינה ומדויקת יותר, תוך ניצול המידע המתקבל גם מהערוץ הוויזואלי, כגון תנועות שפתיים ופנים.

מטרת הפרויקט:

קריאת המאמרים והבנתם, לאחר מכן מימוש המערכת (או וריאציה שלה) והפעלתה על בסיס נתונים תוך מדידת איכות הפתרון.

תכולת הפרויקט:

מימוש האלגוריתמים מהמאמר

קורסי קדם:

חשוב לסטודנטים על מנת להבין את ההקשר של הפרויקט (מה הקורסים הכי רלוונטיים), וחשוב לפקולטה על מנת להראות שכל הפרויקטים מסתמכים על הבסיס האקדמי שנלמד במשך התואר. רצוי לציין קורסים ממסלול הפרויקט. ניתן לדרוש קורסים שילקחו במקביל לפרויקט.

דרישות נוספות:

python

מקורות:

https://arxiv.org/abs/2401.08052
https://ieeexplore.ieee.org/document/9948860