Complex Valued Neural Network for DOA (Direction of Arrival) Estimation

הרקע לפרויקט:

Direction of arrival (DOA) estimation is an important topic in microphone array processing. Conventional methods work well in relatively clean conditions but suffer from noise and reverberation distortions. Recently, deep learning-based methods show the robustness to noise and reverberation. However, the performance is degraded rapidly or even model cannot work when microphone array structure changes. So, it has to retrain the model with new data, which is a huge work. In this paper, we propose a supervised learning algorithm for DOA estimation combining convolutional neural network (CNN) and long short-term memory (LSTM).
In our problem we have complex input and output. Therefore, on next stage we try to change the Network architecture from CNN and LSTM to Complex valued Neural Network.

מטרת הפרויקט:

בפרויקט נפתור את בעיית איכון כיוון הדובר בעזרת רשת נוירונים מרוכבת. בשלב הראשון נממש עיבוד מקדים לרשת, ע"מ לבטל את התלות בסוג המערך ובמספר המיקרופונים. כך נקבל features מרוכב. לאחר מכן נבנה רשת GRU מרוכבת, ונבדוק את ביצועי הרשת.

תכולת הפרויקט:

• סקירה והבנה של בעיית מציאת כיוון דובר, ושל רשתות נוירונים מרוכבות.
• מימוש בpython של העיבוד המקדים לרשת.
• מימוש מערכת למידה עמוקה מרוכבת מסוג GRU.
• אימון המודל ע"מ שיפור הדיוק של זיהוי הכיוון גם בסביבה רועשת ומהדהדת.

קורסי קדם:

• קורס עיבוד ספרתי 2
• קורס למידה עמוקה

(במהלך שנה ד')

דרישות נוספות:

• קורס למידת מכונה
• תכנות בpython.

מקורות:

1. Charles H. Knapp and G. Clifford Carter, "The Generalized Correlation Method for Estimation of Time Delay"
2. Qinglong Li, Xueliang Zhang and Hao Li, “ONLINE DIRECTION OF ARRIVAL ESTIMATION BASED ON DEEP LEARNING”
3. Mhd Modar Halimeh, Thomas Haubner, Annika Briegleb, Alexander Schmidt, Walter Kellermann, “COMBINING ADAPTIVE FILTERING AND COMPLEX-VALUED DEEP POSTFILTERING FOR ACOUSTIC ECHO CANCELLATION”