Room Impulse Response Super Resolution using GAN and Deep Learning Approaches

הרקע לפרויקט:

Find Room Impulse Response (RIR) of specific room is an important task for many uses in audio signal processing. Measurements of RIR is expensive in the sense of time and equipment. Many RIR generators was developed trying to simulate the room behavior using different methods. We present a method for improving the quality of synthetic room impulse responses for far-field speech recognition. We bridge the gap between the fidelity of synthetic room impulse responses (RIRs) and the real room impulse. Given a synthetic RIR in the form of raw audio, we translate it into a real RIR.

מטרת הפרויקט:

בפרויקט נממש מערך לסופר רזולוציה של RIR ע"י למידה עמוקה. נשתמש במודל GAN כדי לקחת RIR שנוצר ע"י סימולציה, וניצור ממנו RIR שמתנהג כמו RIR מציאותי. בנוסף, ננסה נשתמש במודל כדי ליצור RIR גם במקומות נוספים שבהם לא קיימת לנו סימולציה. לאחר מכן נוכן להשתמש במודל זה על מנת לשפר מדידות קיימות של RIR, גם במקומות נוספים בחדר שלא קיימים לנו מדידות בהם.

תכולת הפרויקט:

• סקירה והבנה של שיטות שונות ליצירת RIR בצורה סינטטית.
• מציאת או יצירת Data-Base של מדידות RIR.
• מימוש בpython של מערכת למידה עמוקה. מודל מסוג של GAN.
• אימון המודל ע"מ: 
  לשפר את הRIR הסינטטי.
  סופר רזולוציה – יצירת RIR גם במקומות שבהם אין לנו הקלטת RIR.

קורסי קדם:

• קורס עיבוד ספרתי 2
• קורס למידה עמוקה

(במהלך שנה ד')

דרישות נוספות:

• קורס למידת מכונה
• תכנות בpython.

מקורות:

1. Anton Ratnarajah, Shi-Xiong Zhang, Meng Yu, Zhenyu Tang, Dinesh Manocha, Dong Yu, ”FAST-RIR: FAST NEURAL DIFFUSE ROOM IMPULSE RESPONSE GENERATOR”, https://arxiv.org/abs/2110.04057
2. Anton Ratnarajah, Zhenyu Tang, Dinesh Manocha, “IR-GAN: Room impulse response generator for far-field speech recognition”, https://arxiv.org/abs/2010.13219