Multi-Source Diffusion Models for Simultaneous Music Separation

הרקע לפרויקט:

Generative models have recently gained a lot of attention thanks to their successful application in many fields. Unlike in other sub-fields of the audio domain (e.g., speech), sources present in musical mixtures (stems) share a context given their strong interdependence. Therefore, this separation process is a challenging task.

מטרת הפרויקט:

In this project, the students will build a diffusion-based generative model capable of source separation by learning the score of the joint probability density of sources sharing a context.

תכולת הפרויקט:

הסטודנטים יבנו ויממשו רשת דפיוזית שמפרידה מיקס של מוזיקה. מוצאי הרשת ייבחנו בשיטות המקובלות וישוו לשיטות מתחרות. בנוסף, נרצה לשלב ברשת יכולת של ייצור דוגמאות מוזיקה חדשות.

קורסי קדם:

• עיבוד אותות ספרתי 1+2 (2, במקביל)
• למידת מכונה
• למידה עמוקה (במקביל)

דרישות נוספות:

• תכנות בpython
• שימוש בlinux

מקורות:

1. G. Mariani, I. Tallini, E. Postolache, M. Mancusi, L. Cosmo, and E. Rodolà, “Multi-source diffusion models for simultaneous music generation and separation,” Arxiv.org. [Online]. Available: http://arxiv.org/abs/2302.02257.