SoundPage Navigator

הרקע לפרויקט:

פסקה המתארת את הטכנולוגיה הרלוונטית לפרויקט ואת משמעות הפרויקט בהקשר זה-

טכנולוגיה רלוונטית היא זיהוי "קריאת תווים" אונליין באמצעות עיבוד תמונה\ deep learning, התמרה שלהם לספקטוגרמה רלוונטית או ייצוג אחר,
התמרה של האודיו הנכנס דרך המיקרופון והתאמה בין מה שמנוגן לתווים שמיוצגים בדף

מטרת הפרויקט:

מטרת הפרויקט היא לפתח אפליקציה בה כאשר פותחים קובץ pdf של תווי מוזיקה, ובמקביל יש מיקרופון הקולט נגם המנגן תווים אלו. האפליקציה תדע לעקוב אחר המנגינה המושמעת, לזהות מתי הנגן הגיע לסוף העמוד ולגלול עבורו את הקובץ לעמוד הבא.
השלב הבא יהיה לשים לב למקרי קצה, כמו למשל שהנגן לא מנגן במדוייק את התווים, הקצב משתנה ולא קבוע, יש סימן של חזרה בסוף התיבה האחרונה ואז עוד לא צריך לעבור עמוד וכו'.

תכולת הפרויקט:

מציאת ייצוג לתווים בקובץ (ע"י ספקטוגרמה או קידוד אחר) ובמקביל ייצוג דומה\זהה לאודיו שמנוגן.
מעקב אונליין ונתינת "ציון התאמה" בין מה שנשמע לבין התווים שמיוצגים.
קבלת החלטה אם הגענו לסוף העמוד ואם כן ביצוע הפעולה של גלילה לעמוד הבא.

קורסי קדם:

• חשוב לסטודנטים על מנת להבין את ההקשר של הפרויקט (מה הקורסים הכי רלוונטיים), וחשוב לפקולטה על מנת להראות שכל הפרויקטים מסתמכים על הבסיס האקדמי שנלמד במשך התואר. רצוי לציין קורסים ממסלול הפרויקט. ניתן לדרוש קורסים שילקחו במקביל לפרויקט.
• DSP1
• DSP2
• למידה עמוקה
• SSP1

מקורות:

Moysis, Lazaros, et al. "Music deep learning: deep learning methods for music signal processing—a review of the state-of-the-art." Ieee Access 11 (2023): 17031-17052. (https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10043650&tag=1 )