Room characteristics using Contrastive Learning based on sound recording

הרקע לפרויקט:

הפרויקט עוסק בזיהוי מאפיינים של החדר. נבחן מיצוי מאפיינים מסוגים שונים דוגמת זמן ההדהוד (הנמדד כזמן הלוקח לרעש מתקפי לדעוך עד לרמה בה אינו נשמע יותר, T60), הגאומטריה של החדר (מימדים והיחס ביניהם, צורה), ועוד. לזיהוי האקוסטיקה של החדר יש יישומים פורנזיים, אך גם יישומים ל-virtual reality. הגישה שתחקר בפרויקט משתמשת רק בהקלטות דיבור בחדר ומיושמת ע"י טכניקות למידה עמוקה (DNN) ללימוד מאפיינים

מטרת הפרויקט:

מטרת הפרויקט הינה להשתמש בקוד קיים של רשת נוירונים שיודעת להוציא את מאפיינים אקוסטיים מתוך הקלטת שמע שהוקלטה בחדר (ראו Bittermann et al.) ובהתבסס על מאפיינים אלה לבנות קטע מסווג:
1. גיאומטריית החדר – גיאומטרית החדר
2. מקדם דעיכה של מתקף – T60
3. או מאפיין אחר שיגובש בין הסטודנטים למנחה

תכולת הפרויקט:

הבנת הקוד של רשת הנוירונים להוצאת המידע על החדר מתוך הקלטת שמע שבוצעה בחדר.
בניית קוד משלים המתאים למערכת שמאפשר לקחת את מאפייני החדר ולתת להם ייצוג מילולי..

קורסי קדם:

חשוב לסטודנטים על מנת להבין את ההקשר של הפרויקט (מה הקורסים הכי רלוונטיים), וחשוב לפקולטה על מנת להראות שכל הפרויקטים מסתמכים על הבסיס האקדמי שנלמד במשך התואר. רצוי לציין קורסים ממסלול הפרויקט. ניתן לדרוש קורסים שילקחו במקביל לפרויקט.
DSP1
מבוא ללמידת מכונה
למידה עמוקה (במקביל)
SSP1

מקורות:

BITTERMAN, Jacob, et al. RevRIR: Joint Reverberant Speech and Room Impulse Response Embedding using Contrastive Learning with Application to Room Shape Classification. arXiv preprint arXiv:2406.03120, 2024.‏