Audio-Visual Speaker Localization for robotics

הרקע לפרויקט:

בעידן המודרני, שבו אינטראקציות בין בני אדם למכונות הופכות לנפוצות יותר, היכולת לאתר במדויק את מיקום הדוברים בסביבה היא חיונית עבור יישומים רבים, כמו מערכות ועידה, רובוטיקה מתקדמת ואבטחה חכמה. פרויקט זה שואף לפתח מערכת לאיתור מיקום דוברים המשלבת מידע קולי וויזואלי, שתנצל את המידע מהשמע ומהערוץ הוויזואלי, כמו תנועות הגוף והפנים, כדי לספק זיהוי מדויק ואמין יותר של מיקום הדוברים במרחב.

מטרת הפרויקט:

מימוש אלגוריתם אודיו-וידאו לזיהוי מיקום הדובר או מימוש אלגוריתם אודיו בלבד ווידאו בלבד ולשלב בין תוצאותיהם.

תכולת הפרויקט:

מימוש האלגוריתמים מהמאמר

קורסי קדם:

חשוב לסטודנטים על מנת להבין את ההקשר של הפרויקט (מה הקורסים הכי רלוונטיים), וחשוב לפקולטה על מנת להראות שכל הפרויקטים מסתמכים על הבסיס האקדמי שנלמד במשך התואר. רצוי לציין קורסים ממסלול הפרויקט. ניתן לדרוש קורסים שילקחו במקביל לפרויקט.

דרישות נוספות:

python

מקורות:

https://ieeexplore.ieee.org/abstract/document/8646206
https://ieeexplore.ieee.org/abstract/document/9413776