SoundPage Navigator

הרקע לפרויקט:

טכנולוגיה רלוונטית היא זיהוי "קריאת תווים" אונליין באמצעות עיבוד תמונה\ deep learning, התמרה שלהם לספקטוגרמה רלוונטית או ייצוג אחר,
התמרה של האודיו הנכנס דרך המיקרופון והתאמה בין מה שמנוגן לתווים שמיוצגים בדף

מטרת הפרויקט:

מטרת הפרויקט היא לפתח אפליקציה בה כאשר פותחים קובץ pdf של תווי מוזיקה, ובמקביל יש מיקרופון הקולט נגם המנגן תווים אלו. האפליקציה תדע לעקוב אחר המנגינה המושמעת, לזהות מתי הנגן הגיע לסוף העמוד ולגלול עבורו את הקובץ לעמוד הבא.
השלב הבא יהיה לשים לב למקרי קצה, כמו למשל שהנגן לא מנגן במדוייק את התווים, הקצב משתנה ולא קבוע, יש סימן של חזרה בסוף התיבה האחרונה ואז עוד לא צריך לעבור עמוד וכו'.

תכולת הפרויקט:

מציאת ייצוג לתווים בקובץ (ע"י ספקטוגרמה או קידוד אחר) ובמקביל ייצוג דומה\זהה לאודיו שמנוגן.
מעקב אונליין ונתינת "ציון התאמה" בין מה שנשמע לבין התווים שמיוצגים.
קבלת החלטה אם הגענו לסוף העמוד ואם כן ביצוע הפעולה של גלילה לעמוד הבא

קורסי קדם:

DSP1
DSP2
למידה עמוקה
SSP1

דרישות נוספות:

עיבוד תמונה

מקורות:

Moysis, Lazaros, et al. "Music deep learning: deep learning methods for music signal processing—a review of the state-of-the-art." Ieee Access 11 (2023): 17031-17052. (https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10043650&tag=1 )