Speech Enhancement and Dereverberation With Diffusion-Based Generative Models

הרקע לפרויקט:

בתוך תחום למידה עמוקה, מודלים גנרטיביים תופסים מקום נרחב והובילו לפיתוחים משמעותיים בתחום כמו: chatGPT שעורר הדים רבים. גישה חדשה בתוך תחום זה היא שימוש במודלים דפיוזים גנרטיביים, בהם נתמקד בפרויקט זה לצורך ניקוי ושיפור איכות אות דיבור.

מטרת הפרויקט:

מטרת הפרויקט היא לאמן רשת נוירונים שמבצעת speech enhancement בגישה גנרטיבית ע"י מודל דיפיוזי. הרשת תבחן גם על אותות "עולם אמיתי" והקלטות בתנאי מעבדה על מנת לבחון את יכולת ההכללה שלה.

תכולת הפרויקט:

• הקלטת דטה במעבדה, איסוף דטה אמיתי מהאינטרנט
• הפעלת טסט על הדטה החדש ושיפור ביצועי הרשת עליו

קורסי קדם:

• עיבוד אותות ספרתי 1
• אלגוריתמים סטטיסטיים לעיבוד אותות 1
• למידת מכונה

במקביל:

• עיבוד אותות ספרתי 2
• אלגוריתמים סטטיסטיים לעיבוד אותות 2
• למידה עמוקה

דרישות נוספות:

• תכנות בpython
• היכרות עם לינוקס

מקורות:

1. J. Richter et al., “Speech enhancement and dereverberation with diffusion-based generative models,” Arxiv.org. [Online]. Available: http://arxiv.org/abs/2208.05830.