פרופ' שרון גנות מפתח שיטות בינה מלאכותית לעיבוד קול

טכנולוגיות שמע מודרניות, ממכשירים חכמים ומערכות תקשורת ועד לטכנולוגיות שמיעה, נדרשות לפעול בסביבות אקוסטיות מורכבות, שבהן ריבוי מקורות קול, רעש, הדהוד ותנועה מקשים על עיבוד אמין של אותות השמע.

פרויקט המחקר של פרופ' שרון גנות, שזיכה אותו במענק ISF מטעם הקרן הלאומית למדע, יפתח שיטות חדשות, מבוססות בינה מלאכותית, שמטרתן ללמוד את המבנה העומד בבסיס הסביבה האקוסטית מתוך אותות הנקלטים במיקרופונים. "אף שהמידע האקוסטי הנקלט באמצעות מספר מיקרופונים הוא מורכב ורב-ממדי, במקרים רבים הוא מתאפיין במבנה חבוי ופשוט יותר, הנקבע על ידי מאפיינים פיזיקליים כגון מיקום מקורות הקול והמיקרופונים ותכונות הסביבה האקוסטית", מסביר פרופ' גנות.

לשם כך, מציע פרופ' גנות לפתח שיטות ללמידה על יריעות (Manifold Learning) המבוססות על רשתות נוירונים גרפיות (Graph Neural Networks-GNNs), ובפרט על רשתות קונבולוציה גרפיות (GCNs).   "המטרה הינה לחשוף מבנה פשוט ונמוך-ממד החבוי בתוך המידע המורכב והרב-ממדי; וללמוד בכך את הקשרים והמבנה הפנימי של הנתונים ולייצר ייצוגים קומפקטיים של הסביבה האקוסטית, תוך שמירה על משמעות פיזיקלית ברורה", הוא מבהיר.

שילוב הייצוגים הנלמדים עם שיטות מבוססות מעולם עיבוד האותות צפוי לאפשר פיתוח אלגוריתמים מדויקים ועמידים יותר לפיתוח טכנולוגיות שמע, במיוחד בתנאים מורכבים ומשתנים. "השיטות ייבחנו ביישומים מרכזיים כמו איכון ומעקב אחר מקורות קול, הפרדה בין דוברים וצלילים הפועלים בו-זמנית, עיצוב אלומה וביטול הד אקוסטי", אומר פרופ' גנות. "מעבר ליישומים אלה, הפרויקט מבקש ליצור מסגרת כללית המשלבת בין בינה מלאכותית מודרנית לבין העקרונות הפיזיקליים של התפשטות הקול, ובכך לקדם מערכות שמע חכמות המסוגלות לפעול בצורה יעילה ואמינה יותר בסביבות אקוסטיות מציאותיות".

זוהי השנה השנייה ברציפות בה זוכה פרופ' גנות במענק מטעם הקרן הלאומית למדע. בשנה שעברה זכה במענק משותף של הקרן הלאומית למדע (ISF) וקרן המחקר הגרמנית  (DFG). מענק זה, שעדיין פעיל, עוסק בפיתוח אלגוריתמים מבוססי למידה עמוקה (כולל מודלים גנרטיביים) לעזרי שמיעה חכמים.