Multi-Source Diffusion Models for Simultaneous Music Generation

הרקע לפרויקט:

Generative models have recently gained a lot of attention thanks to their successful application in many fields. Deep generative models for audio, learn, directly or implicitly, the distribution of mixtures, possibly conditioning on additional data such as text. Various general-purpose generative models, such as autoregressive models, GANs , and diffusion models, have been adapted for use in the audio field.

מטרת הפרויקט:

In this project, the students will build a diffusion-based generative model capable of music synthesis by learning the score of the joint probability density of sources sharing a context.

תכולת הפרויקט:

הסטודנטים יבנו ויממשו רשת דפיוזית שמייצרת דוגמאות מוזיקה. מוצאי הרשת ייבחנו בשיטות המקובלות וישוו לשיטות מתחרות. בנוסף, נרצה לשלב יכולת הפרדה של הרשת למקטעים מיקס של מוזיקה.

קורסי קדם:

• למידה עמוקה 
• עיבוד אותות ספרתי 1+2 (2, במקביל)
• למידת מכונה

דרישות נוספות

• תכנות בpython
• שימוש בlinux

מקורות:

Multi-Source Diffusion Models for Simultaneous Music Generation and Separation https://arxiv.org/pdf/2302.02257.pdf

הצלחת הפעלת רשת המאפשרת בו זמנית מספר משימות שונות