פרויקטי גמר - התמחות בתקשורת - הנדסת מערכות תקשורת תשפ"ו

501 Development of a New Method for Integrated Sensing and Communication Systems

פיתוח שיטת שידור-גילוי חדשה למערכות תקשורת משולבת חישה

שם המנחה: אמיר וייס

הרקע לפרויקט:

שילוב בין מערכות תקשורת ומערכות חישה דורש אותות המשרתים שתי מטרות: מחד, שמירה על תכונות קורלציה טובות לצורך הדימות, ומאידך, הכלת מידע תקשורתי בקצב גבוה. לאחרונה הוצעה שיטה לייצור אות LFM (Linear Frequency Modulation) עם ""מסכה ספקטרלית"" תואמת OFDM, אשר מרכיב קריטי בה הוא חישוב הסטת פאזה מחושבת. בפרויקט זה נפתח שיטת שידור משופרת המותאמת לצרכים אלו, המשלבת אות LFM מותאם לאות תקשורת מסוג OFDM, בשילוב גלאי ייעודי מבוסס רשת-נוירונים לזה. בכך, יובטח שימור תכונות החישה הרצויות וגם אמינות מערכת התקשורת.

מטרת הפרויקט:

מטרת הפרויקט היא לתכנן, לממש ולבחון שיטת שידור חדשה עבור מערכות תקשורת משולבת חישה:

תכנון אות LFM משופר: פיתוח פתרון נומרי מלא לחישוב הסטות הפאזה ליצירת nulls בספקטרום באופן מדויק.
שילוב אותות OFDM: מימוש והטמעה של שידור OFDM בתחומי התדר הפנויים (nulls) של ה־LFM.
פיתוח גלאי ייעודי: אימון ובחינת רשת נוירונים לגילוי ולקליטה אמינה של אות ה-OFDM המשולב.

התוצר הסופי יהיה הדגמה בסימולציות של מערכת שלמה המשלבת חישה (דימות) ותקשורת, עם השוואה לשיטות קיימות והצגת שיפור במדדי ביצועים הן בצד החישה והן בצד התקשורת.

תכולת הפרויקט:

קריאת הספרות הרלוונטית בנושאי שילוב חישה ותקשורת, תכנון אותות LFM ואותות OFDM
מימוש השיטה הקיימת לייצור LFM מותאם OFDM
אופציונלי: פיתוח אלגוריתם נומרי משופר לתכנון LFM (ללא קירובי סדר ראשון ליניאריים)
שילוב אות OFDM עם אות ה-LFM שנוצר ובניית סימולציה של ערוץ תקשורת מתאים.
פיתוח ואימון גלאי OFDM מבוסס רשת נוירונים מותאם לאות המשולב.
הרצת סימולציות והשוואת ביצועים (BER, עומק nulls, איכות קורלציה).
כתיבת דו״ח מסכם והצגת התוצאות.

קורסי קדם:

תקשורת ספרתית 1
מבוא ללמידת מכונה

מקורות:

P. Vouras, ""Frequency Modulated Waveforms for Integrated Imaging and Communications"", Asilomar Conf. on Signals, Systems, and Computers, 2024.
Wang, Jiale, et al. ""A Power-Domain Non-Orthogonal Integrated Sensing and Communication Waveform Design Using OFDM."" IEEE Wireless Communications Letters (2024)."

502 Machine learning-based Interference mitigation under interference-Type uncertainty

שם המנחה: אמיר וייס

אחראי/ת אקדמי/ת: ד"ר אמיר וייס

הרקע לפרויקט:

במערכות תקשורת רבות, האותות הרצויים מופרעים על ידי מקורות הפרעה חיצוניים. ברוב העבודות הקיימות מניחים שסוג ההפרעה ידוע מראש, ולכן ניתן לתכנן מסנן או רשת נוירונים ייעודית לטיפול בהפרעה זו. עם זאת, במצבים רבים בפועל סוג ההפרעה איננו ידוע, אלא רק ידוע כי הוא שייך לקבוצה סופית של אפשרויות. מצב זה מקשה על תכנון מערכת אחידה המסוגלת להתמודד עם כלל סוגי ההפרעות האפשריים, ומהווה אתגר מרכזי בתכנון מקלטים חכמים ומודרניים.

מטרת הפרויקט:

בפרויקט זה יתוכנן וימומש אלגוריתם מבוסס רשת נוירונים עמוקה (DNN) המסוגל לצמצם השפעת הפרעה גם כאשר סוג ההפרעה איננו ידוע מראש. בפרט, מטרת הפרויקט היא לבחון את המקרה בו ישנם שלושה סוגי הפרעות אפשריים. המטרה היא לאמן רשת נוירונים יחידה שתצליח להציג ביצועים דומים לשלוש רשתות נפרדות, שכל אחת מהן מאומנת עבור סוג הפרעה ייחודי. הישג זה מהווה צעד חשוב נוסף בדרך לפיתוח מודל אחיד המסוגל לטפל במגוון רחב של סוגי הפרעות על ידי ישות חישובית אחת בלבד.

תכולת הפרויקט:

לימוד רקע תיאורטי על שיטות קלאסיות של דיכוי הפרעות בתקשורת.
סקירת עבודות עדכניות בתחום שימוש ברשתות נוירונים לדיכוי הפרעות.
אימון והערכת ביצועים של הארכיטקטורות הקיימות (Unet, Wavenet) עבור כל אחד מסוגי ההפרעות.
כתיבת סימולטור לייצור של אותות RF סינתטיים נוספים (כגון אות GNSS)
תכנון ואימון רשת נוירונים יחידה המסוגלת להתמודד עם שלושה סוגי ההפרעות סימולטנית.
ביצוע סימולציות והשוואת ביצועים בין המודלים: שלוש הרשתות הנפרדות לעומת המודל המאוחד.
ניתוח התוצאות והסקת מסקנות לגבי הרחבת הגישה למספר גדול יותר של סוגי הפרעות.

קורסי קדם:

מבוא ללמידת מכונה (83622)
תקשורת ספרתית 1 (83310)

מקורות:

Lancho, A., Weiss, A., Lee, G.C.F., Tang, J., Bu, Y., Polyanskiy, Y. and Wornell, G. W., “Data-Driven Blind Synchronization and Interference Rejection for Digital Communication Signals”, in Proc. of IEEE Global Communications Conference (GLOBECOM), pp. 2296–2302, Dec. 2022. (https://arxiv.org/pdf/2209.04871.pdf)
Lancho, A., Weiss, A., Lee, G.C.F., Jayashankar, T., Kurien, B., Polyanskiy, Y. and Wornell, G. W., ""RF Challenge: The Data-Driven Radio Frequency Signal Separation Challenge"", arXiv:2409.08839, Sep. 2024 (https://arxiv.org/abs/2409.08839)"

פרויקטים נוספים מומלצים

204 Extension of a Hierarchical Cache System and Performance Evaluation in Multi-Core RISC-V Processors

הרחבת מערכת Cache היררכית ובחינתה במעבד RISC-V מרובה ליבות

שם המנחה: אופק שרעבי

אחראי/ת אקדמי/ת: פרופ' אדם תימן

הרקע לפרויקט:

הפרויקט עוסק בהטמעת מערכת קאש היררכית דו־שלבית במעבדי RISC-V, תוך התאמה לסביבת מעבדים מרובת־ליבות ובחינת השפעתה על ביצועים ותזמון במערכת.

מטרת הפרויקט:

הרחבה של מערכת הקאש לסביבה מרובה ליבות. יצירת test bench עובד של כלל המערכת. בדיקות תיעוד והבנה מעמיקה של המערכת זאת בכדי להפיק מערכת רובסטית. לאחר הבנה ארכיטקטונית טובה, הסטודנט יבצע מחקר ובדיקה של פרמטרי המערכת בסביבה מרובת ליבות כדי לילמוד ולמצוא את הפרמטרים האופטימלים למערכת מרובת ליבות. התוצר הסופי תיהיה מערכת רובסטית שניתן להריץ עליה מספר סימולציות לבדיקה.

תכולת הפרויקט:

קריאה והבנה של המערכת, הבנה כללית של קוד החומרה. הבנה כללית של סביבת הסימולציה. הצעות למימוש והטמעה. הטמעה ויצירת סביבת סימולציה רובסטית של מערכת החומרה. למידה כיצד שינוי פרמטרי ה cache משפיעים על המערכת. לבסוף, מציאת פרמטרים "טובים" והוחכתם על גבי סביבת סימולציה.

קורסי קדם:

תכן לוגי

דרישות נוספות:

מבנה מחשבים ספרתיים

מקורות:

github to cache project link - https://github.com/pulp-platform/hier-icache

205 Design and Evaluation of a RISC-V Multicore System with a NoC (Network-on-Chip) Interconnect

תכנון והערכה של מערכת רב־ליבתית מבוססת RISC-V עם רשת תקשורת NoC (Network-on-Chip)

שם המנחה: אופק שרעבי

אחראי/ת אקדמי/ת: פרופ' אדם תימן

הרקע לפרויקט:

תכנון, מימוש והערכה של מערכת רב־ליבתית מבוססת RISC-V המחוברת באמצעות מערכת NoC, והדגמת ההשפעה של טופולוגיה, שיטות ניתוב ורוחב קישור על ביצועי המערכת

מטרת הפרויקט:

מטרת הפרויקט היא להקנות לסטודנטים הבנה מעשית של עקרונות Network-on-Chip (NoC): מדוע נדרשת רשת תקשורת פנימית במערכות רב־ליבתיות, כיצד היא משפיעה על ביצועי המערכת, ומהם היתרונות והחסרונות של טופולוגיות ודרכי ניתוב שונות. במסגרת הפרויקט הסטודנטים יתכננו, יממשו ויבחנו מערכת קטנה מבוססת RISC-V עם מנגנון NoC, יערכו ניסויים בהשפעת הטופולוגיה, הניתוב ורוחב הקישור, ויציגו ממצאים על הביצועים.

תכולת הפרויקט:

הבנה וניתוח של ליבת מערכת ה noc וכיצד ניתן לבצע אינטגרציה אליה במערכת הכוללת של אניקס. הטמעתה במערכת עם השינויים הנדרשים. ביצוע סימולציה ובדיקות לכך שהסביבה עובדת. עבודה עם טופולוגיות שונות ותוכניות שונות בכדי לחקור את ביצועי הסביבה.

קורסי קדם:

תכן לוגי

מקורות:

https://github.com/pulp-platform/FlooNoC

206 Advanced peripheral and control circuits and techniques for GC-eDRAM

תכנון מנגנוני שליטה ופריפריה מתקדמים לזיכרונות דינאמיים

שם המנחה: רומן גולמן

אחראי/ת אקדמי/ת: פרופ' אדם תימן

הרקע לפרויקט:

Gain-cell embedded DRAM (GC-eDRAM) is a dynamic storage technology that presents an alternative to standard SRAM for various applications. In this project, novel circuit techniques will be developed for GC-eDRAM based memories to improve performance, power, and area (PPA) costs.

מטרת הפרויקט:

The project outcome is a novel technique for improving the GC-eDRAM technology

תכולת הפרויקט:

This work will include the investigation of sophisticated refresh schemes, advanced write-back techniques, and others. This research project will include Virtuoso based simulations in advanced CMOS nodes

קורסי קדם:

מעגלים אלקטרוניים ספרתיים

דרישות נוספות:

מעגלים משולבים ספרתיים 83-313

מקורות:

P. Meinerzhagen, A. Teman, R. Giterman, N. Edri, A. Burg, and A. Fish, Gain-Cell Embedded DRAMs for Low-Power VLSI Systems-on-Chip. Berlin, Germany: Springer, 2018.
Teman A, Meinerzhagen P, Burg A, Fish A (2012) Review and classification of gain cell eDRAM implementations. In: Proc. IEEE Convention of Electrical and Electronics Engineers in Israel (IEEEI), pp 1–5
Refresh Algorithm for Ensuring 100% Memory Availability in Gain-Cell Embedded DRAM Macros https://ieeexplore.ieee.org/document/9495814
A 4T GC-eDRAM Bitcell with Differential Readout Mechanism For High Performance Applications https://ieeexplore.ieee.org/document/10559672

401 ML-based Prediction Filter for Enhanced Modulo Analog-to-Digital Conversion

אלגוריתם חיזוי משופר מבוסס למידת מכונה להמרת אות אנלוגי לאות דיגיטלי בשיטת מודולו

שם המנחה: אמיר וייס

אחראי/ת אקדמי/ת: ד"ר אמיר וייס

הרקע לפרויקט:

המרת אות אנלוגי לאות דיגיטלי היא אחת הפעולות החשובות והנפוצות ביותר ברוב המוחלט של המכשירים הטכנולוגיים החשמליים הקיימים היום. לצורך ייעול פעולה זו, לאחרונה הוצעה ארכיטקטורה חדשה לרכיב המבצע פעולה זו, המבוססת על פעולת (דחיסת) מודולו אנלוגית ושחזור המידע שאבד (עקב פעולת דחיסה זו) ע""י פעולות דיגיטליות בלבד. בפרויקט זה תפותח הרחבה (/שכלול) של אלגוריתם החיזוי על בסיס טכניקות למידת מכונה, ובכך דיוק המרת האות ואמינות אלגוריתם שחזור האות יעלו עוד יותר על רמות הדיוק והאמינות שמספק האלגוריתם הנוכחי.

מטרת הפרויקט:

הסטודנטים יתכננו ויממשו ארכיטקטורת רשת נוירונים שתחליף בפועל את אלגוריתם החיזוי הקיים. הרשת תאומן עבור קבוצה של אותות עניין (ביניהם, אותות תקשורת נפוצים), ותשולב באלגוריתם הכללי לשחזור אות המידע באופן דיגיטלי. תבוצע השוואה בסימולציות בין ביצועי האלגוריתם הקיים לבין ביצועי האלגוריתם המשופר.

תכולת הפרויקט:

קריאת המאמרים הרלוונטיים ולימוד החומר התיאורטי הנדרש לפרויקט, הכוללים, בין היתר, דחיסה ע""י מודולו, סינון סיבתי אופטימלי לחיזוי דגימה עתידית בסדרה זמנית, סינון מסתגל, קוונטיזציה, אימון רשתות נוירונים
מימוש האלגוריתם הקיים
בחירת ארכיטקטורה מתאימה ואימון רשת נוירונים למימוש פעולת הסינון לצורך חיזוי מדויק יותר
שילוב הרשת שאומנה באלגוריתם השחזור
סימולציה מלאה של המרת האות האנלוגי לאות דיגיטלי עבור קבוצה של סוגי אותות מידע שונים
השוואת ביצועים בין האלגוריתמים ע""י סימולציית מחשב

קורסי קדם:

ניתוח סטטיסטי של מידע (83420), מבוא ללמידת מכונה (83622)

דרישות נוספות:

תורת האינפורמציה (83620)

מקורות:

Weiss, A., Huang, E., Ordentlich, O. and Wornell, G. W., “Blind Modulo Analog-to-Digital Conversion”, IEEE Trans. on Signal Processing, vol. 70, pp. 4586–4601, Aug. 2022. Arxiv link: https://arxiv.org/abs/2108.08937

404 Generetive music intuitive plugin for real time human creation of whole musical compositions

תוסף אינטואיטיבי של מוזיקה גנרית ליצירה אנושית בזמן אמת של יצירות מוזיקליות שלמות

שם המנחה: הגר כפרי

אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

The project is an intuitive plugin for real time human creation of whole musical compositions, integrable into DAWs. This would be based on generating MIDI by a generative system and allowing the user control of the output in real time

מטרת הפרויקט:

The user opens the plugin and sets up basic parameters for generation of a musical part: key, tempo, meter, genres or other descriptors for each generated instrument part and a virtual instrument for every generated MIDI track. Then the user hits play, and the system generates the A part of the composition, while the part is playing, the user manipulates it via (let’s say for now) the keyboard. When the command “increase complexity” is pressed for example, notes and drum hits that weren’t in the composition before are added to it through the generated MIDI tracks, to create richer parts. The user might apply it only to certain tracks, the drums and bass for example. More interesting commands might be more abstract, such as “make the composition sadder” or even customizable commands attained by some kind of text-to-command system. Roughly speaking, every command that we can think of could be interpreted by a machine (better or worse) and integrated into the plugin.

The user then can hit the “next part” command, and the system then generates a B part and plays it, while storing the A part so the user can go back to it (since musical repetition is important). The user could set the direction in which the B part would go similarly to the way the A part was set. The whole session could be recorded to MIDI files which can then be imported to the DAW for editing.

תכולת הפרויקט:

There are 4 stages for creating such plugin:

Figuring which preexisting generative systems to use or making such generative systems.
Deploying the systems such that they could be responsive in real time to the user’s commands (or, if not possible, “tricking” the user and listeners to feel this way, for example by pregenerating and toggling between preexisting options(
Deciding which commands do we want the user to be able to execute and figuring out how to make the systems react to them appropriately.
Figuring the right user interface for these real-time commands and Integrating into a DAW as a plugin

קורסי קדם:

signal processing courses

מקורות:

max\msp

406 Open Source Framework for Multimodal Tabular Data

מערכת קוד פתוח לנתונים רבי היבטיים טבלאיים

שם המנחה: רן אייזנברג

אחראי/ת אקדמי/ת: ד"ר אופיר לינדבאום

הרקע לפרויקט:

הפרוייקט יעסוק בשיטות למידה ממידע מרובה היבטים (כמו למשל Canonical Correlation Analysis (CCA). שיטות אלו מאפשרות חשיפת קשרים ועקרונות משותפים בין מערכי נתונים שונים, ובכך מסייעות לזהות תלות הדדית ותבניות משמעותיות שלא ניתן היה לגלות בבחינת כל מערך נתונים בנפרד. למרות חשיבות שיטות אלו, ספריות קוד קיימות (כגון CCA-Zoo), סובלות משימושיות נמוכה. במבקביל, שיטות קיימות ללמידה עמוקה על מידע ביו-רפואי סובלות מנטייה להתאמת יתר (Ovefit), ומחוסר בהירות בנוגע לסיבת קבלת ההחלטה (Interpretable). מבטרה להתמודד עם הקשיים, בפרוייקט זה, יעשה שימוש ברשת ניורונים (LSPIN) לנתונים ביו-רפואיים מהעולם האמיתי.

מטרת הפרויקט:

במסגרת הפרוייקט יעשה שימוש בכלים של למידת מכונה/למידה עמוקה.

פיתוח מאגר קוד פתוח (GitHub) מודולרי, נקי וקריא, המממש את משפחת שיטות ה־CCA עם ממשק Application Programming Interface (API) ידידותי ודוגמאות שימוש פשוטות.

יישום מלא ושחזור של שיטת LSPIN בפלטפורמת PyTorch, והשוואת ביצועיה למול מודלים עדכניים לנתונים טבלאיים.

שילוב תוצאות LSPIN בלוח תחרות ציבורי לנתונים טבלאיים (Leaderboard).

תכולת הפרויקט:

מימוש והסבר של גרסאות שונות ל־CCA: בסיסי, לינארי, עומק (Deep), (Kernel), תוך מתן דוגמאות קוד והסברים פרקטיים.

שחזור ובנייה של שיטת LSPIN ב־PyTorch, כולל הסבר שלבי העבודה.

השוואת ביצועים של LSPIN למול שיטות עדכניות והצגת התוצאות בלוח דירוג מקובל.

קורסי קדם:

מבוא ללמידת מכונה
מבוא ללמידה עמוקה
רשתות ניורונים

דרישות נוספות:

Experience with Python (NumPy, PyTorch, scikit-learn).
Familiarity with GitHub and version control.

מקורות:

Yang, J., Lindenbaum, O., & Kluger, Y. (2022, June). Locally sparse neural networks for tabular biomedical data. In International Conference on Machine Learning (pp. 25123-25153). PMLR.
Hotelling, H. (1936). Relations between two sets of variates. Biometrika, 28(3–4), 321–377."

409 End-to-End DOA-Guided Speech Extraction in Noisy Multi-Talker Scenarios

חילוץ דיבור מונחה כיוון הגעה בתרחישים רועשים ורב־דוברים

שם המנחה: Mordehay Moradi

אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Speech extraction in real-world acoustic environments is highly challenging, especially when multiple speakers overlap in noisy conditions. Traditional separation approaches often rely solely on spectral or spatial cues, which can be insufficient when noise and reverberation are present. A promising strategy is to incorporate Direction of Arrival (DOA) information, allowing the system to focus on the target speaker based on their spatial location. End-to-end learning frameworks can directly integrate spatial cues with spectral representations, enabling more robust extraction without requiring handcrafted features or explicit intermediate steps. This approach holds the potential to improve both speech intelligibility and noise robustness, making it suitable for real-time applications such as teleconferencing, hearing aids, and human-robot interaction.

מטרת הפרויקט:

The goal of this project is to develop an end-to-end speech extraction system that leverages DOA information to isolate a target speaker in noisy, multi-talker environments. The system aims to achieve robust and intelligible speech output, even under challenging acoustic conditions.

תכולת הפרויקט:

Watch the lectures in Youtube - Stanford University CS231n, Spring 2017

Read the paper

Train each model

Expect to satisfactory results :))

Apply the model on real microphone array, real experiment in our lab.

The project will be implemented in Pytorch

קורסי קדם:

Deep Learing, Python and Pytorch

דרישות נוספות:

Watching related videos on YouTube

מקורות:

The project is based on the following paper:

End-to-End DOA-Guided Speech Extraction in Noisy Multi-Talker Scenarios - https://arxiv.org/pdf/2507.20926"

415 Neural Network-Based Methods for Enhanced Multistatic Localization under Low SNR

שיטות מבוססות רשת נוירונים לשיפור איכון רב-סטטי בתנאי SNR נמוך

שם המנחה: אמיר וייס

אחראי/ת אקדמי/ת: ד"ר אמיר וייס

הרקע לפרויקט:

איכון מטרה רב-סטטי (Multistatic Localization) מבוסס מדידות זמן הגעה (TDOA/TOA) הוא שיטה מרכזית בתחומים כגון תקשורת, מכ״ם, ומערכות ניווט. האלגוריתמים הקלאסיים מבוססים על הערכת זמן הגעה מדויקת ועל הנחה שהשגיאות מתפלגות בצורה גאוסית. בפועל, כאשר יחס אות-לרעש (SNR) אינו גבוה, שגיאות השערוך חורגות מהמודל הגאוסי, והביצועים מתדרדרים באופן ניכר.לאחרונה הוצעה שיטה לשערוך במשותף של מיקום המטרה ושונויות הרעש הלו ידועות. אף כי השיטה מתקרבת לחסם קרמר-ראו בתנאי SNR גבוה, היא אינה מספקת שיפור מספק באזורי SNR נמוכים. בפרויקט זה מוצעת גישה מבוססת למידת מוכנה, ובה הגלאי לומד למפות באופן ישיר את מדידות הזמן אל מיקום המקור, תוך הימנעות מהערכת שונויות הרעש, ותוך שיפור הדיוק בתנאים מאתגרים.

מטרת הפרויקט:

מטרת הפרויקט היא לפתח שיטה מבוססת למידת מכונה לאיכון מטרה רב-סטטי, שתוכל לשפר את הביצועים בתנאי SNR נמוך. המטרות הספציפיות הן:

בחירת ארכיטקטורת רשת נוירונים ואימונה לאיכון ישיר של מיקום המטרה מתוך מדידות האותות הנקלטים.
השוואת ביצועי הרשת במונחי MSE של האיכון מול האלגוריתם הייחוס המוצע במאמר [1].

תכולת הפרויקט:

קריאת הספרות הרלוונטית והשלמת חומר בנושאי איכון רב-סטטי, שערוך קלאסי ושימוש בלמידת מכונה (ובפרט רשתות נוירונים) לשערוך פרמטרים.
מימוש אלגוריתם Maximum Likelihood (מבוסס Majorization-Minimization) כפי שהוצע במאמר [1].
תכנון והטמעת ארכיטקטורת רשת נוירונים לאיכון ישיר (למשל, על סמך [2]).
אימון הארכיטקטורה הנבחרת עבור טווחי SNR שונים.
ניתוח והשוואת ביצועים על פי קריטריון השגיאה הריבועית ההממוצעת (MSE).
כתיבת דו״ח מסכם והצגת תוצאות.

קורסי קדם:

ניתוח סטטיסטי של מידע (83420), מבוא ללמידת מכונה (83622)

מקורות:

K. Panwar, P. Babu, and P. Stoica, ""Maximum Likelihood Algorithm for Time-Delay Based Multistatic Target Localization"", IEEE Signal Processing Letters, vol. 29, pp. 847–851, 2022
Weiss, A., Arikan, T. and Wornell, G. W., “Direct Localization in Underwater Acoustics via Convolutional Neural Networks: A Data-Driven Approach”, in Proc. of IEEE Int. Workshop on Machine Learning for Signal Processing (MLSP), pp. 1–6, Aug. 2022. https://arxiv.org/pdf/2207.10222.pdf"

417 A transformer approach for polyphonic audio-to-score transcription

שיטה מבוססת טרנספורמר להמרת הקלטות מוזיקה קלאסית מרובת-נגנים לתווים

שם המנחה: עילי זיידל

אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

פרויקט זה מציע ארכיטקטורה של רשת נוירונים מבוססת טרנספורמר המקבלת הקלטה של מוזיקה קלאסית מרובת קולות (למשל רביעיית מיתרים). הרשת מחזירה רצף סימבולים מוזיקליים בפורמט Kern, המתרגמים לתווים.

מטרת הפרויקט:

מטרת הפרויקט היא לאפשר לסטודנטים להתנסות באימון ופיתוח רשתות נוירונים לצורך עיבוד וניתוח מידע מהקלטות מוזיקליות. בנוסף, הסטודנטים ילמדו את המאמר המצורף (A TRANSFORMER APPROACH FOR POLYPHONIC AUDIO-TO-SCORE TRANSCRIPTION), יריצו את המודל המוצע בו ויציעו דרך לשפר את תוצאותיו.

תכולת הפרויקט:

הסטודנטים יחלו את העבודה בללמוד את הרקע הרלוונטי לפרויקט – הנושאים הרלוונטיים בלמידה עמוקה (Deep Learning), ותחום עיבוד האותות המוזיקליים.
לאחר מכן, הסטודנטים יכירו את סביבת העבודה של הפרויקט בשפת python, ויתנסו באימון המודל ובדיקת תוצאותיו על הקלטות שונות.
לבסוף, הסטודנטים יציעו שינוי בארכיטקטורת המודל על מנת לשפר את תוצאותיו עבור הקלטות בתנאים סביבתיים שונים.

קורסי קדם:

מבוא ללמידה עמוקה (83707)
עיבוד ספרתי של אותות 2 (83624)

מקורות:

M. Alfaro-Contreras, A. Ríos-Vila, J. J. Valero-Mas, and J. Calvo-Zaragoza, “A Transformer Approach for Polyphonic Audio-to-Score Transcription,” in Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing (ICASSP), 2024, pp. 7069–7079,"