פרויקטי גמר - תואר ראשון בהנדסת חשמל (B.Sc) - לעמוד בחזית הטכנולוגיה - התמחות בעיבוד אותות תשפ"ה

401 ML-Based Source Separation for Integrated Sensing and Communication
אחריות אקדמית:

הרקע לפרויקט:

במערכות התקשורת של מחר, השימוש בתדרים גבוהים, רוחב פס רחב ומערכים גדולים של אנטנות יאפשרו חישה מדויקת וברזולוציה גבוהה, אשר יכולה לסייע בשילוב של חישת הסביבה ותקשורת אלחוטית במערכת אחת להפקת תועלת הדדית. מצד אחד, רשת התקשורת תשמש כחיישן - אותות הרדיו המועברים והמתקבלים על ידי רכיבי הרשת יכולים לשמש לחישה ולהבנה טובה יותר של העולם הפיזי לצרכים שונים, כגון איכון. מצד שני, היכולות החדשות שיתקבלו יאפשרו שיפור של ביצועי התקשורת (למשל, קביעת כיווניות שידור ההודעה באופן מדויק יותר). בפרויקט זה ננסה לפתח שיטה חדשה לקליטה איכותית ומהימנה של אותות החישה והתקשורת המשודרים לצורך השבחת ביצועים.

מטרת הפרויקט:

מטרת הפרוקיט הינה פיתוח פתרון אלגוריתמי, מבוסס רשת עמוקה, עם ביצועים משופרים (ביחס לאלגוריתם מוביל) למקלט במערכת תקשורת משולבת חישה. הסטונדט/ית יממשו שיטה חדשנית קיימת על סמך המאמר [1] שפורסם לאחרונה (ראה "מקורות" מטה), ויאמנו רשת עמוקה להפרדת אותות משופרת, אשר תוביל להשבחת ביצועי המערכת, הן כמערכת תקשורת והן כמערכת חישה.

תכולת הפרויקט:

1. קריאת מאמרים, ובפרט [1] (המאמר המופיע תחת "מקורות")
2. מימוש האלגוריתם המופיע ב-[1] ושחזור מדויק של התוצאות המופיעות בו כביסוס אמת מידה לביצועים
3. אימון רשת עמוקה בגישת למידת מונחית להפרדת אותות התקשורת והחישה
4. השוואת ביצועים בסימולציה ממוחשבת ל-[1] ואמות מידה נוספות אשר יימצאו רלונטיות בזמן הפרויקט

קורסי קדם:

1. עיבוד ספרתי של אותות 1
2. תקשורת ספרתית 1
3. מבוא ללמידת מכונה
(הנ"ל מומלץ, לא חובה)

דרישות נוספות:

1. ידע בסיסי בעיבוד אותות ותקשורת ספרתית
2. תכנות ברמה גבוהה ב-Python, בדגש על אימון רשתות עמוקות

מקורות:

[1] Wang, Jiale, et al. "A Power-Domain Non-Orthogonal Integrated Sensing and Communication Waveform Design Using OFDM." IEEE Wireless Communications Letters (2024). https://ieeexplore.ieee.org/document/10411013

402 SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation
אחריות אקדמית:

הרקע לפרויקט:

מודלים גנרטיביים הם מודלים המנסים ללמו ד או להתחקות אח ר התפלגות של דאטה ובצורה זאת מאפשרים לייצר דגימות חדשות מתוך הדאטה. דוגמאות למודלים גנרטיביים מוכרים: ChatGPT,Midjourney, DALL-E וכו'.
משימה מאתגרת בתחום המודלים הגנרטיביים היא יצירת "talking head" ע"י תמונה ומקטע אודיו, כאשר האתגרים במשימה כוללים ביניהם: תזוזה לא טבעי ת של הראש , הבעות פנים מעוותות , חוסר התאמה בתנועת השפתיים ועוד . בפרויקט נרצה לממש מודל גנרטיבי המקבל תמונה וקטע אודיו ונייצר וידאו 3D ריאליסטי ע"י יצירת פרמטרים לתנועת 3D מתוך האודיו ומיפוי של הפרמטרים לתוך רשת המייצרת את התוצר הסופי

מטרת הפרויקט:

מימוש המודל הגנרטיבי על מנת לנצל את המידע החבוי באודיו לטובת ייצור וידאו ריאליסטי עם התחשבות בפרמטרים של תנועת 3D.

תכולת הפרויקט:

הבנה של רשתות deep learning בכלל ו generative models בפרט .
הבנה של המאמר .
שימוש בפייתון על מנת לאמן את המודל במאמר .
קבלת תוצאות ושיפור של המודל.

קורסי קדם:

קורס עיבוד ספרתי 2
קורס למידה עמוקה

דרישות נוספות:

תכנות בpython ועבודה עם pyTorch

מקורות:

Wenxuan Zhang, Xiaodong Cun, et al. "SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation"
1. https://sadtalker.github.io./ - Paper website
2. https://arxiv.org/pdf/2211.12194 - Paper

403 The Sound of Pixels
אחריות אקדמית:

הרקע לפרויקט:

למידה בלתי מונחית היא שיט ת learning machine בה ה מודל מנסה להתאמן על הדאטה ללא שום
תיוג , שיטות אלה נחשבות קשות יותר לאימון שכן המטרה בהן היא למצוא מבנה חבוי של הדאטה וללמוד מתוכו .
בפרויקט אנו נרצה לעשות שימוש בלמידה בלתי מונחית על מנת לאמן מודל הלומד למפות את האודיו המתאים לכל פיקסל מתוך סרטון וידאו . בעזרת השימוש במודל אפשר לבצע משימות רבות וביניהן : הפרדת דוברים, מציאת מיקום דובר בתמונה ועוד.

מטרת הפרויקט:

מימוש המודל על מנת ללמוד את האודיו המתאים לכל פיקסל בצורה בלתי מונחית ומתוך כך לאפשר הפרדת דוברים ומציאת מיקום של דובר בתמונה.

תכולת הפרויקט:

הבנה של שיטות learning deep.
הבנה של עבודה עם unsupervised data.
הבנה של המאמר.
שימוש ב"פייתון" על מנת לאמן את המודל המוצע במאמר.
קבלת תוצאות ושיפור המודל

קורסי קדם:

קורס עיבוד ספרתי 2
קורס למידה עמוקה

דרישות נוספות:

תכנות בpython ועבודה עם pyTorch.

מקורות:

Hang Zhao, Chuang Gan, Andrew Rouditchenko, et al. "The Sound of Pixels"
1. http://sound-of-pixels.csail.mit.edu/ - Paper website
2. https://arxiv.org/pdf/1804.03160 - Paper

404 Automatic Graphen detection
אחריות אקדמית:

הרקע לפרויקט:

בפרויקט נשתמש בעיקר בטכנולוגיות של זיהוי תמונה ושליטה על מכשיר דרך קראות API. בפרויקט נריץ סריקה של מיקרוסקופ על צ'יפ' תוך כדי שמירת צילומים של הצ'יפ, פונקציונליות זו תאפשר על ידי שליטה על המנועים המניעים את המיקרוסקופ מתוך תוכנית העושה שימוש בקראות לAPI של המיקרוסקופ. תוך כדי הסריקה נפעיל אלגוריתם זיהוי תמונה על התמונות השמורות על מנת לזהות אם נתקלנו בflake של גרפן על גבי בצ'יפ'. במקרה שכן נתעד את הגרפן באמצעות לקיחת שתמונות ושמירת מיקום XY.

מטרת הפרויקט:

מטרת הפרויקט היא להגיע למצב שהמיקרוסקופ מסוגל לסרוק ולתעד את חלקי הגרפן שנמצאים על הצ'יפ באופן אוטונומי עם אפשרויות להתקדמות עתידי לזהות חומרים נוספים שחלקים קשים יותר לזהות .

תכולת הפרויקט:

על הסטודנט לבנות מודל זיהוי תמונה בעל דיוק טוב בזיהוי הגרפן ולשלב זאת לתוך השליטה על המיקרוסקופ ולהגיע למצב וסופי של סנכרון בין המערכות המאפשר סריקה אוטונומי של צ'יפ ללא התערבות אנושי.

קורסי קדם:

מבוא ללמידת מכונה (ניתן במקביל)

405 Tracking and Localization of Speakers in a Room Using CNN Extensions
אחריות אקדמית:

הרקע לפרויקט:

מעקב ולוקליזציה של דוברים בתוך חדר הוא אתגר משמעותי בתחום עיבוד אותות אודיו. ארכיטקטורות שונות כגון רשתות קונבולוציה (CNNs) והרחבות שלהן, הראו הבטחה בהתמודדות עם אתגר זה. באופן ספציפי, האינטגרציה של רשתות זיכרון לטווח קצר (LSTM) עם רשתות CNN יכולה ללכוד תלות זמנית באותות אודיו, בעוד שרשתות קונבולוציה זמניות (TCNs) מציעות גישה חלופית לניתוח דפוסים זמניים ביעילות. במהלך הפרוייקט נבחן את ביצועי הרשתות הנ"ל בהקשר של עקיבת ואיכון דוברים

מטרת הפרויקט:

מטרת פרויקט זה היא לפתח ולהעריך שיטות למעקב ולוקליזציה (איכון) של רמקולים באמצעות ארכיטקטורות רשתות עצביות מתקדמות אלו. אנו שואפים לחקור את השילוב של רשתות LSTM עם CNNs ולחקור את הפוטנציאל של TCNs. בנוסף, התלמידים יצברו ניסיון מעשי על ידי הרצה והפעלת סימולציות ליצירת דאטה, אימון המודלים. בנוסף נבצע הקלטות חיות אמיתיות במעבדה האקוסטית כדי ליצור מערך נתונים מקיף להערכה ובדיקת המודלים.

תכולת הפרויקט:

ישום מודל אחד או מספר מודלים עבור לוקליזציה של דוברים
יצירת דאטה מסומלץ של דוברים בחדר
אימון של מודלים מתאימים
הערכת ביצועים וניתח את החוזקות והחולשות של המודל/ים

קורסי קדם:

עיבוד ספרתי 2, למידה עמוקה

מקורות:

  1. Exploiting Temporal Context in CNN Based Multisource DOA Estimation https://ieeexplore.ieee.org/document/9381644
  2. DataGen simulation (git): https://github.com/MayaVB/SpeakerLocGen
406 ML-based Prediction Filter for Enhanced Modulo Analog-to-Digital Conversion
אחריות אקדמית:

הרקע לפרויקט:

המרת אות אנלוגי לאות דיגיטלי היא אחת הפעולות החשובות והנפוצות ביותר ברוב (אם לא כל) המכשירים הטכנולוגיים הקיימים היום. לצורך ייעול פעולה זו, לאחרונה הוצעה ארכיטקטורה חדשה לרכיב המבצע פעולה זו, המבוססת על פעולת (דחיסה) מודולו אנלוגית ושחזור המידע שאבד (עקב פעולת דחיסה זו) ע"י פעולות דיגיטליות בלבד. בפרויקט זה תפותח הרחבה (/שכלול) של אלגוריתם החיזוי על בסיס טכניקות למידת מכונה, ובכך דיוק המרת האות ואמינות אלגוריתם שחזור האות יעלו עוד יותר על רמות הדיוק והאמינות שמספק האלגוריתם הנוכחי.

מטרת הפרויקט:

הסטודנטים יתכננו ויממשו ארכיטקטורת רשת נוירונים שתחליף בפועל את אלגוריתם החיזוי הקיים. הרשת תאומן עבור קבוצה של אותות עניין (ביניהם, אותות תקשורת נפוצים), ותשולב באלגוריתם הכללי לשחזור אות המידע באופן דיגיטלי. תבוצע השוואה בסימולציות בין ביצועי האלגוריתם הקיים לבין ביצועי האלגוריתם המשופר.

תכולת הפרויקט:

1. קריאת המאמרים הרלוונטיים ולימוד החומר התיאורטי הנדרש לפרויקט, הכוללים, בין היתר, דחיסה ע"י מודולו, סינון סיבתי אופטימלי לחיזוי דגימה עתידית בסדרה זמנית, סינון מסתגל, כימוי (קוונטיזציה), אימון רשתות נוירונים
2. מימוש האלגוריתם הקיים
3. בחירת ארכיטקטורה ואימון רשת נוירונים למימוש פעולת הסינון לצורך חיזוי מדויק יותר
4. שילוב הרשת שאומנה באלגוריתם השחזור
5. סימולציה מלאה של המרת האות האנלוגי לאות דיגיטלי עבור קבוצה של סוגי אותות מידע שונים
6. השוואת ביצועים בין האלגוריתמים ע"י סימולציית מחשב

קורסי קדם:

ניתוח סטטיסטי של מידע (83420), מבוא ללמידת מכונה (83622)

דרישות נוספות:

תורת האינפורמציה (83620)

מקורות:

Weiss, A., Huang, E., Ordentlich, O. and Wornell, G. W., “Blind Modulo Analog-to-Digital Conversion”, IEEE Trans. on Signal Processing, vol. 70, pp. 4586–4601, Aug. 2022. Arxiv link: https://arxiv.org/abs/2108.08937

407 Analysis of Biological Signatures Using Machine Learning
אחריות אקדמית:

הרקע לפרויקט:

טכנולוגיות לבישות, המשולבות בגוף ובמערכות ביולוגיות כבר כאן, לרוב הן מתקשרות עם נקודת קצה קרובה (למשל סלולרי או אנטנה) וצריכת אנרגיה נמוכה, הינה קריטית עבור מערכות אלו. כמו כן, אבטחה היא גורם משמעותי היות ואינפורמציה רגישה נעה במערכות אלו (חשבו על מוניטור לחץ דם או משאבת אינסולין אקטיבית). לכן עלות האבטחה מבחינת מימוש ואנרגיה היא קריטית. בפרויקט הסטודנטים יקבלו מידע \ מדידות ממכשור מדידה המגיע ממדידות על גוף נסיינים בשיתוף עם תעשייה. המידע יגיע ממגוון סנסורים, time-series ממודד לחץ דם \ מודד זיעה\ מדידות אופטיות ואפילו אקוסטיות.
הסטודנטים יפעילו כלי אנליזה מעולם הסיווג ולימוד המכונה ומטרתם תהיה אפיון ומציאת פיטשרים ייחודיים וחזרתיים מכל ערוץ ובניית ensemble ליצירת חתימה ביולוגית למשתמש. על גבי מנגנון זה ניתן ליישם אבטחה זולה הרבה יותר למערכות אלו.
זהו פרויקט המשך שבו הראנו יישימות. בפרויקט הזה נשפר את האנליזה והניתוח ובנוסף נוסיף מנגנון ייחודי לייצר מדידות \ חתמיות "דטרמניסטיות" ולא רועשות ממדידות רועשות על מנגנון FUZZY EXTRACTOR, בנוסף ללמידת המכונה והקלסיפיקציה.

מטרת הפרויקט:

מימוש מערכת עובדת מלאה והדגמה עם דאטה בייס גדול ומשמעותי

תכולת הפרויקט:

הסטודנטים יקראו וילמדו שיטות ניתוח של ספרות קודמת. ילמדו את צורת המידע והדאטה שמגיע מהמדידות. ינתחו מאפיינים שלו ויבנו ויאמנו מספר מכונות קלסיפיקציה ולוגיקה של FUZZY EXTRACTOR. ינתחו יכולת לשלב מדדים שונים מדאטה בייסים שונים, ייבנו מודלים "משכללים" ומאחדים. ולבסוף יבצעו בחינת אומדנים לייחודיות וחזרתיות של ה"חתימות הביולוגיות" ויכולות הקלסיפיקציה.

קורסי קדם:

כל קורס קודם המספק ידע בנושאים:
ידע קודם בסיסי בלמידת מכונה \ קלסיפיקציה \ רגרסיה
ייתרון לסטודנטים בעלי שליטה בבניית מודלים בפייטון (או מטלב), למשל עצים, Random-Forest, ensembles, ANN \ CNN RNN\ DNN

דרישות נוספות:

הבנה של קודים לתיקון שגיאות ייתרון (אך לא חובה)
יכולות תכנותיות ואנליטיות גבוהות.
נכונות להיקף עבודה משמעותי.

מקורות:

  1. Jain, Anil K., Arun Ross, and Salil Prabhakar. "An introduction to biometric recognition." IEEE Transactions on circuits and systems for video technology 14.1 (2004): 4-20.
  2. McGoldrick, Leif K., and Jan Halámek. "Recent advances in noninvasive biosensors for forensics, biometrics, and cybersecurity." Sensors 20.21 (2020): 5974.
  3. Hair, Mindy E., et al. "Metabolite biometrics for the differentiation of individuals." Analytical chemistry 90.8 (2018): 5322-5328.
  4. https://ranger.uta.edu/~mingli/publications/Pairing.pdf
408 Offensive Cyber: Attack Using AI Systems
אחריות אקדמית:


שם המנחה: גל כהן
אחראי/ת אקדמי/ת: איתמר לוי

הרקע לפרויקט:

As digital threats evolve, protecting embedded systems becomes increasingly vital. This project explores how AI can be used to perform advanced cyber attacks on these systems, focusing on vulnerabilities in technologies like Bluetooth, WiFi, Zigbee, and LoRa. By integrating AI algorithms with signal processing and spectrogram analysis, the project aims to reconstruct CPU operations and extract secret keys from RF transmissions. This initiative combines practical coding with innovative research, preparing students to address contemporary cybersecurity challenges.

מטרת הפרויקט:

AI System capable of Reconstructing CPU Operations from RF Transmissions to Steal Secret Keys (e.g., Bluetooth, WiFi, Zigbee, LoRa) and private information.

תכולת הפרויקט:

the project consists of :

  • Coding for embedded systems
  • Engineering AI algorithms designed to breach secure systems
  • Applying data science techniques
  • Mastering AI classification algorithms
  • Working with spectrograms and signal processing


While the completion of a final project is not mandatory, we do require significant progress in at least one of the fields mentioned above.

קורסי קדם:

פשוט תבואו עיקר המטרה זה שתלמדו :) אין צורך או ציפיה לידע קודם.

דרישות נוספות:

פשוט תבואו עיקר המטרה זה שתלמדו :) אין צורך או ציפיה לידע קודם.

מקורות:

  1. https://www.eng.biu.ac.il/leviita2/publications/

מאמר 4 הוא הכי רלוונטי לפרויקט :) אך גם שונה במהותו

  1. Danieli E, Goldzweig M, Avital M, Levi I. "Revealing the Secrets of Radio Embedded Systems: Extraction of Raw Information via RF". IEEE Transactions on Information Forensics and Security. 2023 Dec 20. (Final Extended version)
409 DSP Toolbox -Python freeware GUI
אחריות אקדמית:

הרקע לפרויקט:

בשנים האחרונות מתרחב השימוש בכלי תוכנה מבוססים קוד פתוח.
מטרת הפרויקט להנגיש ולפתח בצורה גרפית קוד אשר יהפוך באופן אוטומטי לתוכנית שתרוץ על המחשב שלנו. גישת פיתוח זו מקצרת באופן משמעותי את זמני הפיתוח של אב טיפוס של המוצרים.

מטרת הפרויקט:

נגישות לכלי תוכנה לפיתוח אלגוריתמי DSP תורמת לקיצור זמנים בפיתוח של אב טיפוס של המוצר. סביבות עבודה גרפיות נפוצה ל FAST PROTOTYPING הינה Matlab/SIMULINK [ 1] , ראה מודל סימולינק לדוגמה בלינק : https://www.eng.biu.ac.il/~pinit/Proj_2023/SIMULINK_example.JPG ).
רשיון מטלב עם DSP TOOLBOX יכול להגיע למאות או אלפי דולרים לעמדה בודדת בארגון.

שימוש בכלי פיתוח שהם Freeware software יכול להנגיש את הכלים לקהל מטרה רחב יותר.
כמו כן, כלים שהם Freeware software יכולים להוות בסיס להוראה של מעבדת DSP ותקשורת בקמפוסים בעלי יכולות כלכליות מוגבלות.

תכולת הפרויקט:

בפרויקט זה נמשיך לפתח DSP TOOLBOX בנושאים מגוונים דוגמת סינון, משפט הדגימה, אינטרפולציה ודצימציה וסינון אדפטיבי.
במסגרת הפרויקט יבחנו מספר סביבות עבודה גרפיות [2-5] לצורך החלפת Matlab/SIMULINK למימוש FAST PROTOTYPING [1]

קורסי קדם:

עיבוד ספרתי 1
אלגוריתמים סטטיסטיים

מקורות:

  1. Gannot, S., & Avrin, V. (2006, September). A Simulink© and Texas instruments C6713® based digital signal processing laboratory. In 14th European Signal Processing Conference, 2006. (https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7071073 )
  2. https://www.scilab.org/software, an open-source matlab + Simulink (scilab + xcos)
  3. https://github.com/severin-lemaignan/boxology
  4. https://github.com/node-red/node-red
  5. https://github.com/leon-thomm/Ryven (Python)
410 Multi Variate Leakage Detection
אחריות אקדמית:

הרקע לפרויקט:

זיהוי זליגה עם וקטור מבחן (TVLA) הינה מתודולוגיה המשמשת באבטחת קריפטוגרפיה לגילוי חולשות לערוצי צד ביישומים קריפטוגרפיים. התקפות ערוצי צד מנצלות דליפות פיזיות, כגון צריכת חשמל או קרינות אלקטרומגנטיות, כדי להוציא מידע סודי כמו מפתחות קריפטוגרפיים. TVLA משתמשת בטכניקות סטטיסטיות לניתוח הקורלציה בין דליפות פיזיות אלו לבין המידע הסודי המעובד על ידי האלגוריתם הקריפטוגרפי. על ידי בדיקה שיטתית עם וקטורי קלט שונים וניתוח הדליפות הנובעות, TVLA מכמתת את כמות המידע הסודי שדלף. שיטה זו מאומצת באופן נרחב בתחום אבטחת החומרה כדי להבטיח שמכשירים קריפטוגרפיים, כגון כרטיסים חכמים ומעבדים מאובטחים, עמידים בפני התקפות מסוג זה. מתודולוגיה זו מספקת גישה קפדנית ומנורמלת בין מכשירים להערכת הקריטריונים המשותפים של יישומים קריפטוגרפיים נגד חולשות פוטנציאליות, מה שהופך אותה לכלי חיוני למפתחים וחוקרי אבטחה.

מטרת הפרויקט:

מימוש מבחן סטטיסטי מרובה-משתנים למומנט סטטיסטי גבוה בסביבת matlab/python, וניתוח דגימות שנמדדו ע"ג MCU/FPGA המריץ סכימות הצפנה מבוססות בלוקים שונות (ASCON, AES).

תכולת הפרויקט:

(1)סקירה ספרותית ולמידה מעמיקה של האלגוריתם למימוש, כפי המוצע ב[1], (2)מימוש האלגוריתם ודיבוג בIDE הנבחר (3)מדידות חומרה של סכימות הצפנה מבוססות בלוקים ע"ג MCU/FPGA (4)ניתוח המדידות באמצעות האלגוריתם הממומש

קורסי קדם:

מבוא לסטטיסטיקה, אלגברה ליניארית למהנדסים, אותות אקראיים ורעש, מבוא לאבטחת חומרה

דרישות נוספות:

הכרות מעמיקה עם python/matlab

מקורות:

  1. Leakage Assessment Methodologyhttps://www.iacr.org/archive/ches2015/92930478/92930478.pdf
  2. Recognition of Common Criteria Certificates https://www.commoncriteriaportal.org/cc/index.cfm
411 Analysis and Inference of DEEP learning models
אחריות אקדמית:

הרקע לפרויקט:

מודלים של למידה עמוקה מצריכים משאבים רבים של זיכרון וכח מיחשוב חזק. פרויקט זה עוסק בניתוח ואופטימיזציה של מערכות למידה עמוקה בזמן האימון והשימוש במודלים.

מטרת הפרויקט:

מטרת הפרויקט הנה להקטין את גודל המודלים ולהקטין את העומס החישובי על ה GPU תוך שמירה על ביצועים (BIT EXACT ). במהלך הפרויקט יבחנו ביצועים של מספר מודלים מסחריים (התלמידים יעשו סקר ספרות על שוק ה [1-3] CHATBOTS ), מודלים אשר פותחו במעבדה ומודלים שיפותחו במהלך הפרויקט.
בפרויקט נבחן ביצועים של המערכת כתלות בגודל משתנה המודל (double vs. Int16 וכו') ומספר הפרמטרים ביחס למודל המקורי.
כמו כן תבדק סיפריית JIT לפיתון [ 8-10 ] לצורך שיפור ביצועים ב CPU ויבחנו כלי PROFILING ל CPU [11]

תכולת הפרויקט:

במסגרת הפרויקט יבחנו מגוון כלים אשר נמצאים בשוק, למשל:
1. עבודה עם כלים לביצוע PROFILING לנצילות השימוש ב GPU [6]
2. כלים ל MODEL INFERANCE [4,5]
3. השוואת ביצועים בעזרת מדדים סטטיסטיים.

קורסי קדם:

פיתון ברמה גבוהה

מקורות:

1. https://openai.com/blog/introducing-chatgpt-and-whisper-apis
2. https://bard.google.com/chat
3. https://lmsys.org/blog/2023-03-30-vicuna/
4. https://developer.nvidia.com/tensorrt-getting-started
5. https://onnx.ai/
6. https://developer.nvidia.com/nsight-systems/get-started
7. https://developer.nvidia.com/nsight-compute
8. https://numba.pydata.org/
9. https://numba.readthedocs.io/en/stable/user/5minguide.html
10. https://www.nvidia.com/en-us/glossary/numba/
11. https://docs.python.org/3/library/profile.html#module-cProfile

412 Chatbot customization
אחריות אקדמית:

הרקע לפרויקט:

ה Chatbots [ 1,2,3] פולשים לחיינו ואנו נפתח מערכת מערכת לשילובם במחשבים נידים
כיום קימים מגוון של Chatbots, בפרויקט זה נסקור את הקיים בשוק ונתמקד בעלות מיטבית תוך שמירה על רמת ביצועים סבירה [ 3]
בהמשך תבחן גם אפשרות לשילוב המערכת ברובוט חברתי [7] אשר משמש ככוח עזר בבית חולים.

מטרת הפרויקט:

בפרויקט זה נפתח מערכת שמע ובינה מלאכותית הכוללת:
1) הרכשת הדיבור בעזרת מיקרופון/מערך מיקרופונים [6]
2) עיבוד ראשוני של אות הדיבור (יבחן שילוב אלגוריתם ניקוי רעשים שפותח במעבדה)
3) זיהוי דיבור (העברת שמע לטקסט) [4]
4) צ'אטבוט
5) מערכת text-to-speech שתיצור אות דיבור מהטקט שחיבר הצ'אטבוט [5]
6) שידור הדיבור ברמקול.
הדגש בפרויקט יהיה על שילוב הצ'אטבוט במערכת עם מימוש ב PC וברובוט בסביבת ROS [8]

תכולת הפרויקט:

1. בחירת chatbot לפרויקט ולהגדירו כמומחה לתחום מסויים – למשל : אינטראקציה עם זקנים , מועדון של אוהדי מכבי תל אביב וכו
2. הפעלת ASR & TTS
3. שילוב מערך מיקרופונים
4. בחינת ביצועים של המערכת

קורסי קדם:

פיתון ברמה גבוהה

מקורות:

1. https://openai.com/blog/introducing-chatgpt-and-whisper-apis
2. https://bard.google.com/chat
3. https://lmsys.org/blog/2023-03-30-vicuna/
4. https://cloud.google.com/speech-to-text
5. https://cloud.google.com/text-to-speech?hl=en
6. Microphone array HW site : https://www.seeedstudio.com/ReSpeaker-Mic-Array-Far-field-w-7-PDM-Micro… , https://wiki.seeedstudio.com/ReSpeaker_Mic_Array/
7. https://pal-robotics.com/robots/ari/
8. https://www.ros.org/

413 On the relationship between different quality measures for noise reduction in deep learning methods
אחריות אקדמית:

הרקע לפרויקט:

בשנים האחרונות שיטות למידה עמוקה משמשות למשימות רבות כולל לשיפור שמע והנחתת רעשים. לצורך אימון הרשת יש להגדיר פונקציית לוס לפיה ישתפר המודל, אך הקשר בין מדד שיפור אחד לשני אינו בהיר דיו. בנושא מחקר זה נעמוד על הקשר בין מדדי האיכות השונים הרלוונטים לצורך אימון הרדת

מטרת הפרויקט:

בפרויקט זה נחקור את הקשר בין מדדי איכות שונים עבור הורדת רעש כתלות בפונקציה לפיה מתאמנת הרשת. נאמן רשת נוירונים עבור שיפור איכות השמע

תכולת הפרויקט:

יצירת דאטא, בניית רשת, אימון הרשת והשוואת התוצאות בין המדדים השונים

קורסי קדם:

עיבוד אותות ספרתי 2
למידה עמוקה

מקורות:

https://ieeexplore.ieee.org/abstract/document/8683855

414 Gender recognition by using deep learning methods
אחריות אקדמית:

הרקע לפרויקט:

בשנים האחרונות השימוש בשיטות למידה עמוקה עבור אותות דיבור תופס מקום מרכזי בעולם המחקרי. ניתן להשתמש בכלי זה לצורך משימות שונות ובהם זיהוי אלמנטים מסויימים בנוגע לדובר הנתון לנו.

מטרת הפרויקט:

בפרויקט זה נשתמש בשיטות AI לצורך סיווג הקלטה נתונה – האם מדובר בגבר או באישה. הסיווג יתבצע תחת תנאי הדהוד ורעש כך שהמודל ילמד להכליל סיטואציות שונות

תכולת הפרויקט:

יצירת דאטא, בניית רשת, אימון הרשת וניתוח תוצאות

קורסי קדם:

עיבוד אותות ספרתי 2
למידה עמוקה

מקורות:

https://ieeexplore.ieee.org/abstract/document/9054073

415 Direction-of-Arrival Estimation in Acoustic Vector Sensor Arrays from bit-per-sample compressed signals via Neural Networks
אחריות אקדמית:

הרקע לפרויקט:

חיישנים אקוסטים וקטורים מאפשרים מדידה של השדה האקוסטי באופן מלא, ובכך מאפשרים יכולות (למשל, בתחום האיכון) שלא אפשריות עם מערכי מיקרופונים. לפיכך, ישנו ערך מדעי, ופרקטי עתידי, לפיתוח אלגוריתמים המתאימים למערכות המצוידות ברכיבים אלה. בפרויקט זה יעשה שילוב בין יכולת חישה מתקדמת זו לבין יכולות מתקדמות מתחום למידת מכונה, לצורך פיתוח אלגוריתם לשערוך זווית.

מטרת הפרויקט:

מטרת הפרויקט הינה פיתוח ותכנון פתרון המבוסס על רשת נוירונים לצורך שערוך כיוון הגעה של אות אקוסטי מדגימות שעברו קוונטיזציה גסה - ביט בודד לדגימה. השימוש ברשתות נועד לנצל את הקשר הלא ליניארי בין האותות הדחוסים לבין כיווני ההגעה של המקורות האקוסטיים בסביבת הפעולה.
התוצרים הסופיים של הפרויקט יהיו קוד פתוח לאימון הרשת בתרחיש העניין, הסבר מפורט על ארכיטרקטורת הרשת, והשוואת תוצאות בסימולציית מחשב (במונחי דיוק השערוך) בין ביצועי שיטות קיימות לשיטה המוצעת.

תכולת הפרויקט:

1. קריאת מאמרים רלוונטיים והבנת מודל האותות והגדרת הבעיה
2. מימוש השיטות הקיימות בקוד (סביבת מטלב או פייתון)
3. פיתוח פתרון מבוסס רשת נוירונים, אימון הרשת, וכתיבת סימולציה לבחינת ביצועי הרשת
4. השוואה בין ביצועי כלל השיטות במספר סימולציות

קורסי קדם:

מבוא ללמידת מכונה (83622), ניתוח סטטיסטי של מידע (83420), אלגוריתמים סטטיסטיים לעיבוד אותות (83321)

מקורות:

Weiss, A., “Blind Direction-of-Arrival Estimation in Acoustic Vector-Sensor Arrays via Tensor Decomposition and Kullback-Leibler Divergence Covariance Fitting”, IEEE Trans. on Signal Processing, vol. 69, pp. 531–545, Dec. 2020. Link to arxiv version: https://arxiv.org/pdf/2005.08318.pdf

416 Learning to denoise without clean examples
אחריות אקדמית:

הרקע לפרויקט:

In this project we will explore methods to train a denoiser from unaligned noisy images. The deep learning approaches that have been proposed in the past years for training a denoiser without g.t. clean data do not exploit connection between mismatched images of the same object.

מטרת הפרויקט:

The goal of the project is to design a deep learning method for training a denoiser from unaligned noisy images that outperforms existing methods (which currently do not fully the information shared between such images).

תכולת הפרויקט:

  1. Exploring the performance of current methods when trained on unaligned noisy images (starting with noisy shifted versions) and identifying gaps.
  2. Proposing a mathematically-backed method for the problem at hand.
  3. Training a model that outperforms existing alternatives.
  4. Potentially: generalizing the idea from shifts to more general transformations.

קורסי קדם:

קורס מבוא ללמידת מכונה, הרשמה לקורס למידה עמוקה

מקורות:

* https://arxiv.org/abs/1803.01314
* https://arxiv.org/abs/1803.04189

417 Tradeoffs in restoration problems
אחריות אקדמית:

הרקע לפרויקט:

Restoration algorithms are oftentimes evaluated by different criteria. For example, we may want a restored image to be both accurate (low distortion) and perceptually pleasing (as if it is a natural image). A seminal paper have shown that there is a tradeoff between these properties. In this project we will study extensions of this phenomenon. Primarily, we will explore tradeoffs between low-level tasks (e.g., restoring an image with low distortion) and high-level tasks (classifying the restored image).

מטרת הפרויקט:

The goal of this project is to identify and explore (empirically and theoretically) tradeoffs between low-level restoration and high-level tasks.

תכולת הפרויקט:

  1. Understanding known tradeoffs (e.g., perception-distortion) and techniques to explore them (convex optimization, rate-distortion theory).
  2. Examining if they can be sharpened.
  3. Identifying tradeoffs between low-level restoration and high-level tasks (e.g., classification).
  4. Empirical and theoretical analysis.

קורסי קדם:

קורס מבוא ללמידת מכונה, עדיפות לרישום לקורסים שערוך פרמטרים ולמידה עמוקה

מקורות:

https://arxiv.org/abs/1711.06077

418 Knowledge distillation with uncertainty quantification
אחריות אקדמית:

הרקע לפרויקט:

Knowledge distillation refers to training a small model ("student") based on the knowledge gained by a computationally expensive model ("teacher"). In classification, this means that the student will learn to predict the logits vector of the teacher rather than the (less informative) label. In many applications, a classifier needs to quantify the uncertainty in its prediction. In this project, we will explore how uncertainty quantification methods can benefit/improve the knowledge distillation setting.

מטרת הפרויקט:

The goal of the project is to explore uncertainty quantification methods (e.g., confidence calibration and conformal prediction) in the knowledge distillation setting. Specifically, we aim to:

  1. Devising algorithms for improving the student's performance using the uncertainty quantification of the teacher;
  2. Devising algorithms for improving the uncertainty quantification of the student using the extended knowledge of the teacher.

תכולת הפרויקט:

  1. Understanding knowledge distillation in classification, confidence calibration, and conformal prediction.
  2. Devising algorithms for improving the student's performance using the uncertainty quantification of the teacher.
  3. Devising algorithms for improving the uncertainty quantification of the student using the extended knowledge of the teacher.

קורסי קדם:

מבוא ללמידת מכונה, רישום לקורס למידה עמוקה

מקורות:

* https://arxiv.org/abs/1503.02531
* https://arxiv.org/abs/2107.07511

419 DiffusionNet: Discretization Agnostic Deep Learning on Surfaces
אחריות אקדמית:

הרקע לפרויקט:

The project is about implementing new general-purpose approach to deep learning on 3D surfaces, based on the insight that a simple diffusion layer is highly effective for spatial communication. The resulting networks are automatically robust to changes in resolution and sampling of a surface—a basic property which is crucial for practical applications. Our networks can be discretized on various geometric representations such as triangle meshes or point clouds, and can even be trained on one representation then applied to another. We optimize the spatial support of diffusion as a continuous network parameter ranging from purely local to totally global, removing the burden of manually choosing neighborhood sizes. The only other ingredients in the method are a multilayer perceptron applied independently at each point, and spatial gradient features to support directional filters. The resulting networks are simple, robust, and efficient. Here, we focus primarily on triangle mesh surfaces, and demonstrate state-of-the-art results for a variety of tasks including surface classification, segmentation, and non-rigid correspondence.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה בהיבט של למידת מכונה עמוקה. התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.
פרויקטים נוספים מותאמים לסטודנט אפשריים במקרים מסוימים בתאום עם פרופ' וובר.

קורסי קדם:

רקע בעיבוד דיגיטלי של גיאומטריה או גרפיקה ממוחשבת או למידת מכונה עמוקה.

דרישות נוספות:

יכולת תכנות טובה + יכולת עבודה עצמאית והגדלת ראש

מקורות:

  1. https://nmwsharp.com/research/diffusion-net/
420 Seamless Parametrization in Penner Coordinates
אחריות אקדמית:

הרקע לפרויקט:

Polyhedral surfaces are elementary in computer graphics. They are used to represent real-life objects in virtual environments. Mapping such a polyhedral surface to a different domain, for example, to the plane is a fundamental problem in computer graphics and geometry processing. In this project we will learn about special types of maps which strive to preserve length. We will implement an advanced algorithm for computing such maps that uses logarithmic lengths (AKA Penner coordinates) as variables of numerical optimization problem.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.
פרויקטים נוספים מותאמים לסטודנט אפשריים במקרים מסוימים בתאום עם פרופ' וובר.

קורסי קדם:

רצוי רקע בעיבוד דיגיטלי של גיאומטריה או גרפיקה ממוחשבת או אופטימיזציה

דרישות נוספות:

יכולת תכנות טובה + יכולת עבודה עצמאית והגדלת ראש

מקורות:

http://ryanjcapouellez.com/papers/2024_seamless_parametrization_in_penn…

421 Barycentric Coordinates for Image Deformation
אחריות אקדמית:

הרקע לפרויקט:

Any point inside a 2D polygon can be expressed as a convex combination of the polygon’s vertices, and the coefficients of this convex combination are called the barycentric coordinates of the point.

Barycentric coordinates are broadly used in computer graphics applications to interpolate data given at the vertices of the polygon to its interior. A particular application of interest is image warping. In this application, a given image is deformed interactively to create a new image.

The design of barycentric coordinates with desired properties is a challenging task. It is hard to design a set of coordinate functions that are positive, smooth, and interpolate the boundary linearly. In this project, we will design such coordinates based on recent research advancements in the field.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.
פרויקטים נוספים מותאמים לסטודנט אפשריים במקרים מסוימים בתאום עם פרופ' וובר.

קורסי קדם:

רצוי רקע בעיבוד דיגיטלי של גיאומטריה או גרפיקה ממוחשבת

דרישות נוספות:

יכולת תכנות טובה + יכולת עבודה עצמאית והגדלת ראש

מקורות:

  1. https://diglib.eg.org/handle/10.1111/cgf14908 - Maximum Likelihood Coordinates for Image Deformation
  2. https://graphics.pixar.com/library/StochasticCoordinates/index.html - Stochastic Computation of Barycentric Coordinates
  3. https://dl.acm.org/doi/10.1145/3618403 - Variational Barycentric Coordinates
422 SoundPage Navigator
אחריות אקדמית:

הרקע לפרויקט:

פסקה המתארת את הטכנולוגיה הרלוונטית לפרויקט ואת משמעות הפרויקט בהקשר זה-

טכנולוגיה רלוונטית היא זיהוי "קריאת תווים" אונליין באמצעות עיבוד תמונה\ deep learning, התמרה שלהם לספקטוגרמה רלוונטית או ייצוג אחר,
התמרה של האודיו הנכנס דרך המיקרופון והתאמה בין מה שמנוגן לתווים שמיוצגים בדף

מטרת הפרויקט:

מטרת הפרויקט היא לפתח אפליקציה בה כאשר פותחים קובץ pdf של תווי מוזיקה, ובמקביל יש מיקרופון הקולט נגם המנגן תווים אלו. האפליקציה תדע לעקוב אחר המנגינה המושמעת, לזהות מתי הנגן הגיע לסוף העמוד ולגלול עבורו את הקובץ לעמוד הבא.
השלב הבא יהיה לשים לב למקרי קצה, כמו למשל שהנגן לא מנגן במדוייק את התווים, הקצב משתנה ולא קבוע, יש סימן של חזרה בסוף התיבה האחרונה ואז עוד לא צריך לעבור עמוד וכו'.

תכולת הפרויקט:

מציאת ייצוג לתווים בקובץ (ע"י ספקטוגרמה או קידוד אחר) ובמקביל ייצוג דומה\זהה לאודיו שמנוגן.
מעקב אונליין ונתינת "ציון התאמה" בין מה שנשמע לבין התווים שמיוצגים.
קבלת החלטה אם הגענו לסוף העמוד ואם כן ביצוע הפעולה של גלילה לעמוד הבא.

קורסי קדם:

  • חשוב לסטודנטים על מנת להבין את ההקשר של הפרויקט (מה הקורסים הכי רלוונטיים), וחשוב לפקולטה על מנת להראות שכל הפרויקטים מסתמכים על הבסיס האקדמי שנלמד במשך התואר. רצוי לציין קורסים ממסלול הפרויקט. ניתן לדרוש קורסים שילקחו במקביל לפרויקט.
  • DSP1
  • DSP2
  • למידה עמוקה
  • SSP1


מקורות:

Moysis, Lazaros, et al. "Music deep learning: deep learning methods for music signal processing—a review of the state-of-the-art." Ieee Access 11 (2023): 17031-17052. (https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10043650&tag=1 )

423 Explainable DNN-based Beamformer with Postfilter
אחריות אקדמית:

הרקע לפרויקט:

פסקה המתארת את הטכנולוגיה הרלוונטית לפרויקט ואת משמעות הפרויקט בהקשר זה

שיפור איכות השמע מתאפשר בעזרת שימוש במעצב עלומה.
עיצוב האלומה נעשה בעזרת DNN מסוג U-Net ומסנן פוסט (ExNet-BF+PF) לעיבוד אותות רב-ערוצי.
בפרויקט ניבחן כיצד הרשת מנצלת מידע מרחבי במהלך העיבוד. ניתוח זה יניב תובנות חשובות לגבי הפונקציונליות של הרשת, ובכך ישפר את ההבנה שלנו לגבי הביצועים הכוללים שלה. השיטה פשוטה לאימון ומניבה תוצאות מעולות, המייתרות את הצורך בידע מוקדם על פעילות הדובר.

מטרת הפרויקט:

מטרת פרויקט זה היא לפתח מעצב עלומה רב ערוצי מבוסס DNN
הרשת כוללת :
רשת U-Net עם attention mechanism
מסנן פוסט (ExNet-BF+PF) לעיבוד אותות רב-ערוצי.
התלמידים יצברו ניסיון מעשי על ידי הרצה והפעלת סימולציות ליצירת דאטה, אימון המודלים. בנוסף נבצע הקלטות חיות אמיתיות במעבדה האקוסטית כדי ליצור מערך נתונים מקיף להערכה ובדיקת המודלים.

תכולת הפרויקט:

ישום מודל מבוסס למידה עמוקה ליצירת מעצב עלומה
יצירת דאטה מסומלץ של דוברים בחדר
אימון של מודלים מתאימים

קורסי קדם:

אין

מקורות:

מדובר על המשך העבודה של התלמיד על אלגוריתם המפותח במעבדה (בימים אלו אנו עמלים בהכנת המאמר לפירסום). שותפי הפרויקט בפייסבוק לא מאשרים להעלות גירסה לארכיב

424 Switching Process for integrate sensing and communications in 6G communications
אחריות אקדמית:

הרקע לפרויקט:

רשתות תקשורת דור 6 מתוכננות לערים חכמות בהן דרוש שערוך מיקום ועקיבה אחר מספר רב של מערכות - כולל משתמשי קצה, רכבים אוטונומיים והולכי רגל. נוסף על כן, ברשתות אלה קיימות מדידות ממגוון חיישנים, כגון GNSS, Wi-Fi, גירוסקופים MEMS, ו- Bluetooth. סדרות זמן עם מצבים מתחלפים הינן כלי מצויין לבעיות מסוג זה. מטרת פרוייקט זה היא מימוש אלגוריתמי שערוך ועקיבה למודלים אלה.

מטרת הפרויקט:

מימוש אלגוריתם עקיבה לסדרה מרובת מצבים, בדיקת קצב ההתכנסות ואפשרות ישום במערכות תקשורת משולבות חישה בסביבה עירונית.

תכולת הפרויקט:

הבנה תאורטית של מודל סדרות זמן עם מצבים משתנים ואפשרות ישומן לבעיות איכון ועקיבה. היכרות עם הספרות. כתיבה וביצוע סימולציה. כתיבת דוחות

קורסי קדם:

עיבוד ספרתי של אותות 1, אותות אקראיים ורעש, תקשורת ספרתית (אפשר במקביל) אלגוריתמים סטטיסטיים לעיבוד אותות (פרופ שרון גנות - אפשר במקביל), ניתוח סטטיסטי של מידע (פרופ אמיר לשם - במקביל לפרויקט)

מקורות:

https://isac.committees.comsoc.org/

425 Routing and analysis of traffic in smart cities
אחריות אקדמית:

הרקע לפרויקט:

Routing of vehicles in smart cities is an important subject, with the potential to reduce bottlenecks.

מטרת הפרויקט:

ניתוח של נתוני תעבורה של העיר סיאול. בנית מודל עומס מתוך נתוני מהירות ולימוד ובדיקה של איסטרטגיות ניתוב

תכולת הפרויקט:

  • Spectral analysis of existing data
  • Development of traffic generator, by converting speed data into congestion model
  • Formulation of the traffic problem as a multi-agent potential game
  • Development of leader followers strategies for traffic prediction and control

קורסי קדם:

Random signals and noise,

דרישות נוספות:

Mathematical analysis of networks in parallel

מקורות:

  1. Cesa-Bianchi, N., & Lugosi, G. (2006). Prediction, learning, and games / Nicolo Cesa-Bianchi, Gabor Lugosi. Cambridge University Press.
  2. Gardner, William A. 1994. Cyclostationarity in Communications and Signal Processing. New York: IEEE Press.
  3. Monderer, Dov, and Lloyd S. Shapley. n.d. “Potential Games.” Games and Economic Behavior 14 (1): 124–43. https://doi.org/10.1006/game.1996.0044.
427 Audio-Visual Speaker Localization for robotics
אחריות אקדמית:

הרקע לפרויקט:

בעידן המודרני, שבו אינטראקציות בין בני אדם למכונות הופכות לנפוצות יותר, היכולת לאתר במדויק את מיקום הדוברים בסביבה היא חיונית עבור יישומים רבים, כמו מערכות ועידה, רובוטיקה מתקדמת ואבטחה חכמה. פרויקט זה שואף לפתח מערכת לאיתור מיקום דוברים המשלבת מידע קולי וויזואלי, שתנצל את המידע מהשמע ומהערוץ הוויזואלי, כמו תנועות הגוף והפנים, כדי לספק זיהוי מדויק ואמין יותר של מיקום הדוברים במרחב.

מטרת הפרויקט:

מימוש אלגוריתם אודיו-וידאו לזיהוי מיקום הדובר או מימוש אלגוריתם אודיו בלבד ווידאו בלבד ולשלב בין תוצאותיהם.

תכולת הפרויקט:

מימוש האלגוריתמים מהמאמר

קורסי קדם:

חשוב לסטודנטים על מנת להבין את ההקשר של הפרויקט (מה הקורסים הכי רלוונטיים), וחשוב לפקולטה על מנת להראות שכל הפרויקטים מסתמכים על הבסיס האקדמי שנלמד במשך התואר. רצוי לציין קורסים ממסלול הפרויקט. ניתן לדרוש קורסים שילקחו במקביל לפרויקט.

דרישות נוספות:

python

מקורות:

https://ieeexplore.ieee.org/abstract/document/8646206
https://ieeexplore.ieee.org/abstract/document/9413776

428 Audio-Visual Speaker Diarization
אחריות אקדמית:

הרקע לפרויקט:

בעידן של היום, שבו טכנולוגיות אודיו ווידאו משתלבות בתחומים רבים כמו תקשורת, אבטחה ומערכות מולטימדיה, זיהוי דוברים מדויק הוא אתגר משמעותי. מערכות קיימות מתמקדות בעיקר בזיהוי דוברים על בסיס שמע בלבד, אך במצבים מורכבים, כמו סביבות רועשות או עם ריבוי דוברים, דיוק הזיהוי עלול להיפגע. המערכת המוצעת, המשלבת מידע קולי וויזואלי, תאפשר זיהוי ורישום דוברים בצורה אמינה ומדויקת יותר, תוך ניצול המידע המתקבל גם מהערוץ הוויזואלי, כגון תנועות שפתיים ופנים.

מטרת הפרויקט:

קריאת המאמרים והבנתם, לאחר מכן מימוש המערכת (או וריאציה שלה) והפעלתה על בסיס נתונים תוך מדידת איכות הפתרון.

תכולת הפרויקט:

מימוש האלגוריתמים מהמאמר

קורסי קדם:

חשוב לסטודנטים על מנת להבין את ההקשר של הפרויקט (מה הקורסים הכי רלוונטיים), וחשוב לפקולטה על מנת להראות שכל הפרויקטים מסתמכים על הבסיס האקדמי שנלמד במשך התואר. רצוי לציין קורסים ממסלול הפרויקט. ניתן לדרוש קורסים שילקחו במקביל לפרויקט.

דרישות נוספות:

python

מקורות:

https://arxiv.org/abs/2401.08052
https://ieeexplore.ieee.org/document/9948860

429 Room characteristics using Contrastive Learning based on sound recording
אחריות אקדמית:

הרקע לפרויקט:

הפרויקט עוסק בזיהוי מאפיינים של החדר. נבחן מיצוי מאפיינים מסוגים שונים דוגמת זמן ההדהוד (הנמדד כזמן הלוקח לרעש מתקפי לדעוך עד לרמה בה אינו נשמע יותר, T60), הגאומטריה של החדר (מימדים והיחס ביניהם, צורה), ועוד. לזיהוי האקוסטיקה של החדר יש יישומים פורנזיים, אך גם יישומים ל-virtual reality. הגישה שתחקר בפרויקט משתמשת רק בהקלטות דיבור בחדר ומיושמת ע"י טכניקות למידה עמוקה (DNN) ללימוד מאפיינים

מטרת הפרויקט:

מטרת הפרויקט הינה להשתמש בקוד קיים של רשת נוירונים שיודעת להוציא את מאפיינים אקוסטיים מתוך הקלטת שמע שהוקלטה בחדר (ראו Bittermann et al.) ובהתבסס על מאפיינים אלה לבנות קטע מסווג:
1. גיאומטריית החדר – גיאומטרית החדר
2. מקדם דעיכה של מתקף – T60
3. או מאפיין אחר שיגובש בין הסטודנטים למנחה

תכולת הפרויקט:

הבנת הקוד של רשת הנוירונים להוצאת המידע על החדר מתוך הקלטת שמע שבוצעה בחדר.
בניית קוד משלים המתאים למערכת שמאפשר לקחת את מאפייני החדר ולתת להם ייצוג מילולי..

קורסי קדם:

חשוב לסטודנטים על מנת להבין את ההקשר של הפרויקט (מה הקורסים הכי רלוונטיים), וחשוב לפקולטה על מנת להראות שכל הפרויקטים מסתמכים על הבסיס האקדמי שנלמד במשך התואר. רצוי לציין קורסים ממסלול הפרויקט. ניתן לדרוש קורסים שילקחו במקביל לפרויקט.
DSP1
מבוא ללמידת מכונה
למידה עמוקה (במקביל)
SSP1

מקורות:

BITTERMAN, Jacob, et al. RevRIR: Joint Reverberant Speech and Room Impulse Response Embedding using Contrastive Learning with Application to Room Shape Classification. arXiv preprint arXiv:2406.03120, 2024.‏

430 Developing Interactive musical system
אחריות אקדמית:

הרקע לפרויקט:

במהלך העשור האחרון, ניכר כי התגלמות (“embodiment”) היא תכונה מוחשית של אינטראקציה בין אדם למוזיקה. במקום להתייחס למאזין, "כמוח" שמקבל קלט (מוזיקה) ומייצר פלט (למשל, תיאורים של רגשות נתפסים או תנועות ריקוד), דרך האינטראקציה הגלומה משלבת את המאזין בלולאה סגורה עם הסביבה המוזיקלית. ההנחה היא שפעולה ותפיסה מוזיקלית של בני האדם הם תהליכים הדדיים "המתדלקים" את הלולאה הזו, ושפעולה וחיזוי נקבעים במשותף על ידי אילוצים של הסביבה המוזיקלית, כמו גם על ידי אלו של האורגניזם (הגופני) שמקיים אינטראקציה בתוכה. על כן, הפרויקט משתייך לעולם של מערכות אינטראקטיביות ועיבוד אותות מוזיקליים (מיצב אמנותי אינטראקטיבי) המשתמש ביכולות סנסומוטוריות, קוגניטיביות, רגשיות ואנרגטיות המייעלות את האינטראקציה. מעבר לכך, הפרויקט מעודד פעילות גופנית ומפיץ שמחה באמצעות צלילים (או מוזיקה). Moran, N. (2017)

מטרת הפרויקט:

בפרויקט זה יבנו הסטודנטים מערכת המעבדת נתוני קלט מחיישני מגע שנמצאים על גרם מדרגות ומפעילה בהתאמה מערך צלילים שיושפע מהאופן בה נוצרת האינטראקציה. המשימה המרכזית היא מציאת המהלך האפקטיבי לקשר בין תנועה לעיבוד צליל למטרות מוזיקליות.

תכולת הפרויקט:

1. הצבת חיישני מגע (או חיישנים אחרים נוספים) על המדרגות במחלקה למוזיקה בבר אילן.
2. תכנות חומרה Raspberry Pi או Arduino לקליטת המידע ועיבודו.
3. תכנות מערכת רספונסיבית שתפעיל שתשדר באמצעות Bluetoothצלילים בהתאמה לרמקול נייד שיוצב בקרבת מקום.
4. פיתוח מערכת אינטראקטיבית להפקת מגוון צלילים.
5. תבחן אפשרות לפיתוח יישום אנדרואיד או WEB לצורך איפיון הצלילים המופקים במערכת.
6. כמו כן יבחנו מגוון חלופות למתן חווית משתמש מיטבית כגון :
• יבחנו תכונות מערכת שמזהה את מספר המשתמשים במדרגות ומקצה לכל אחד ID וצליל ייחודי לו.
• שליטה על עוצמת הצליל ביחס לדריכה בעזרת חיישני לחץ.
• הוספת אינדיקציות חזותיות נוסף על האלמנטים השמיעתיים.
בנוסף, הסטודנטים ילמדו, יתכננו ויממשו מערכת בה מערך הצלילים המושמע מושפע מהאופן בו נוצרת האינטראקציה עם הסביבה. בתוך כך ניתן יהיה להוסיף מודולים לעיצוב, הרחבה וטרנספורמציה של הסיגנל האודיטורי המקורי ובהתאם לאופן שבו נוצרת האינטראקציה עם החיישנים.

קורסי קדם:

-

דרישות נוספות:

ידע בתכנות מעבדים

מקורות:

  1. https://arxiv.org/pdf/1804.03641.pdf
  2. Moran, N. (2017) “Agency in Embodied Music Interaction,” The Routledge Companion to Embodied Music Interaction, pp. 105–112. Available at: https://doi.org/10.4324/9781315621364-12.
  3. Routledge companion to embodied music interaction (2019). New York, NY: Routledge.
431 SoundPage Navigator
אחריות אקדמית:

הרקע לפרויקט:

טכנולוגיה רלוונטית היא זיהוי "קריאת תווים" אונליין באמצעות עיבוד תמונה\ deep learning, התמרה שלהם לספקטוגרמה רלוונטית או ייצוג אחר,
התמרה של האודיו הנכנס דרך המיקרופון והתאמה בין מה שמנוגן לתווים שמיוצגים בדף

מטרת הפרויקט:

מטרת הפרויקט היא לפתח אפליקציה בה כאשר פותחים קובץ pdf של תווי מוזיקה, ובמקביל יש מיקרופון הקולט נגם המנגן תווים אלו. האפליקציה תדע לעקוב אחר המנגינה המושמעת, לזהות מתי הנגן הגיע לסוף העמוד ולגלול עבורו את הקובץ לעמוד הבא.
השלב הבא יהיה לשים לב למקרי קצה, כמו למשל שהנגן לא מנגן במדוייק את התווים, הקצב משתנה ולא קבוע, יש סימן של חזרה בסוף התיבה האחרונה ואז עוד לא צריך לעבור עמוד וכו'.

תכולת הפרויקט:

מציאת ייצוג לתווים בקובץ (ע"י ספקטוגרמה או קידוד אחר) ובמקביל ייצוג דומה\זהה לאודיו שמנוגן.
מעקב אונליין ונתינת "ציון התאמה" בין מה שנשמע לבין התווים שמיוצגים.
קבלת החלטה אם הגענו לסוף העמוד ואם כן ביצוע הפעולה של גלילה לעמוד הבא

קורסי קדם:

DSP1
DSP2
למידה עמוקה
SSP1

דרישות נוספות:

עיבוד תמונה

מקורות:

Moysis, Lazaros, et al. "Music deep learning: deep learning methods for music signal processing—a review of the state-of-the-art." Ieee Access 11 (2023): 17031-17052. (https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10043650&tag=1 )

432 Visually Supervised Speaker Detection and Localization via Microphone Array
אחריות אקדמית:

הרקע לפרויקט:

זיהוי דוברים (ASD-Active Speaker Detection) היא משימה רב-מודאלי אודיו-ויזואליות (AV- Audio Video) שמטרתה לזהות מי (אם מישהו) מדבר מתוך קבוצה של מועמדים.

גישות AV נוכחיות עבור ASD מסתמכות בדרך כלל על מעקב וחילוץ רצפים עוקבים של תמונות פנים מווידאו ומאודיו חד ערוצי בהתאמה.

עם זאת, שיעור ההצלחה נמוך שכן בווידאו רק הפנים הגלויות נכללות במערך המועמדים. והאודיו החד ערוצי שיכול לזהות בהצלחה נוכחות של פעילות דיבור נכשל בלוקליזציה של הדובר עקב היעדר מידע מרחביים. הפתרון המוצע מרחיב את חזית האודיו באמצעות שימוש במערך מיקרופונים ואימון של רשתות קונבולוציה (CNN-Involutional Neural Network) בשילוב טכניקות של יצירת אלומה (BF-Beam Forming) כדי לשערך את המיקום האופקי של הדובר ישירות במסגרות הווידאו.

מטרת הפרויקט:

בפרויקט הסטודנטים יממשו ויאמנו רשתות אודיו-וידאו שמסוגלות לעקוב אחרי תמונות של פנים במסגרות הוידאו ולבצע גילוי וזיהוי של דובר מתוך קבוצה של דוברים. נחקור כיצד לחבר את הוידאו לאודיו ע"י רשתות ייעודיות ולבצע את הגילוי על הפריימים של הווידאו.

תכולת הפרויקט:

  1. למידת חומר מתקדם בעיבוד המרחבי ושיטות שערוך מבוססות יצירת אלומה (BF-Beam Forming)
  2. למידת חומר מתקדם בלמידה עמוקה
  3. שליטה בקוד פייתון עם ספריות יעודיות בתחום
  4. אינטגרציה, אימון ומימוש של מודלים מתקדמים בלמידה עמוקה בתחום האודיו והווידאו

קורסי קדם:

  • עיבוד ספרתי 2
  • למידה עמוקה

דרישות נוספות:

ידע/נסיון קודם שאינו קורס, או קורסים שרצוי לקחת אך אינם חובה.

מקורות:

 

  1. Visually Supervised Speaker Detection and Localization via Microphone Array main_paper
  2. face tracks algo (generate stack of face crops) python-seetaface2
  3. ASD- automatic speech detector PaperActive_Speakers_in_Context  Codehttps://github.com/fuankarion/active-speakers-context  DatasetAVA-ActiveSpeaker

פרויקטים נוספים מומלצים

111 Characterizing connectivity of brain electrical activity across multiple sensors
אפיון קישוריות של פעילות מוחית חשמלית מסנסורים מרובים
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

ניתוחי מוח למחלות שונות כוללים במקרים רבים הסרה של איזורים פתולוגיים מסוימים, למשל איזור עם גידול סרטני. לצורך שימור ושיקום יכולות תפקודיות קריטיות כמו דיבור, תנועה, ותפקודים קוגניטיביים אחרים, יש צורך למפות איזורים תפקודיים במטופלים. אלקטרוקורטיקוגרפיה (ECOG) היא טכנולוגיה מבטיחה המקליטה פעילות מוחית חשמלית באמצעות אלקטרודות ייעודיות המונחות ישירות על פני המוח החשוף. טכנולוגיה זו מאפשרת להקליט אותות מוחיים ייחודים ברזולוציה זמנית ומרחבית גבוהה, ועל כן משמשת בין השאר ככלי קליני שימושי למיפוי תפקוד המוח אצל אוכלוסיות קליניות שונות. במחקרים קודמים הראינו כי נתוני ECOG, הנאספו ממספר סנסורים במקביל במהלך ניתוח מוח בערות של מטופלים עם גידול מוחי, מכילים מידע הקשור לרשתות מוחיות תפקודיות. עם זאת, דפוסי הקישוריות בין הפעילות המוחית שנמדדה בסנסורים השונים נשארו לא ידועים. קישוריות זו הינה אינדיקציה לאופן שבו נוירונים מתקשרים ביניהם ,ומכאן חשיבותה הרבה.

בפרויקט זה נשתמש בכלים חישוביים ונבחן דפוסי קישוריות מוחית באמצעות ניתוח האותות המוחיים. נתמקד במדד של צימוד משרעת-פאזה (Phase-Amplitude Coupling, PAC) המתאר את הקשר שבין שתי רצועות תדירות. לחקירת דפוסי קישוריות ברמות המוח ואיזורי המוח השונים יש חשיבות קלינית לצורך פיתוח כלים רפואיים תומכי החלטה והבנה טובה יותר של המנגנונים העומדים בבסיס מחלות נוירולוגיות שונות. כמו כן, הם מהווים בסיס לפיתוח של ממשקים עצביים כגון ממשקי מוח-מחשב (Brain computer interfaces, BCIs).

מטרת הפרויקט:

מטרת הפרויקט היא הבנה ושימוש בשיטות חישוביות שונות למדידת קישוריות מוחית עבור אותות עצביים שהוקלטו באמצעות ECOG. האותות הוקלטו ממטופלים עם גידול מוחי במהלך ניתוח מוח בערות. הפרויקט יכלול ניתוח נתונים ושימוש במודלים סטטיסטיים כדי לאפיין דפוסי קישוריות במצבים שונים כגון משימות שונות שביצעו המטופלים.

תכולת הפרויקט:

עבודת הסטודנטים תכלול : לימוד תאורטי וקריאה בספרות על מחקרים בתחום, עיבוד מקדים של הנתונים, חישוב קישוריות מתוך הסיגנלים באמצעות מספר שיטות אנליזה, שימוש במודלים סטטיסטים. שימוש ופיתוח כלים בכלים בעיבוד אותות והצגת נתונים.

קורסי קדם:

אין

דרישות נוספות:

מדעי נתונים ביולוגיים, כל ידע בתחום מדעי המוח

מקורות:

  1. Assem, M., Hart, M. G., Coelho, P., Romero-Garcia, R., McDonald, A., Woodberry, E., Morris, R. C., Price, S. J., Suckling, J., Santarius, T., Duncan, J., & Erez, Y. (2023). High gamma activity distinguishes frontal cognitive control regions from adjacent cortical networks. Cortex, 159, 286–298. https://doi.org/10.1016/j.cortex.2022.12.007
  2. Murta, T., Chaudhary, U. J., Tierney, T. M., Dias, A., Leite, M., Carmichael, D. W., Figueiredo, P., & Lemieux, L. (2017). Phase–amplitude coupling and the BOLD signal: A simultaneous intracranial EEG (icEEG) - fMRI study in humans performing a finger-tapping task. NeuroImage, 146, 438–451. https://doi.org/10.1016/j.neuroimage.2016.08.036
  3. Penny, W. D., Duzel, E., Miller, K. J., & Ojemann, J. G. (2008). Testing for nested oscillation. Journal of Neuroscience Methods, 174(1), 50–61. https://doi.org/10.1016/j.jneumeth.2008.06.035
  4. Canolty, R. T., Edwards, E., Dalal, S. S., Soltani, M., Nagarajan, S. S., Kirsch, H. E., Berger, M. S., Barbare, N. M., & Knight, R. T. (2006). High gamma power is phase-locked to theta oscillations in human neocortex. Science, 313(5793), 1626–1628. https://doi.org/10.1126/science.1128115
123 Computational modeling of cell-cell interactions and prediction of future gene expression inside cancerous tissues
מידול חישובי של אינטראקציות בין סוגי תאים וניבוי ביטוי גנים עתידי ברקמות סרטניות
אחריות אקדמית:

הרקע לפרויקט:

מפות גנומיות מספקות תמונת מצב מפורטת של התאים ברקמות. במעבדה אנחנו משתמשים בטכנולוגיה חדשה שמאפשרת מדידה מרחבית של מפות גנומיות, וכך אפשר למדוד אינטראקציות בין תאים. כימות האינטראקציות בין תאים יכול לאפשר מידול של מחלות מורכבות כגון סרטן. עם זאת, תמונת המצב הנמדדת היא רגעית בלבד, ולכן אין מידע לגבי הדינמיות בתאים.
באמצעות מודל חישובי חדש בשם RNA velocity המתבסס על משוואות קצב ניתן לתאר את הדינמיות והכיווניות העתידית בביטוי הגנים בתאים. מודל נוסף המבוסס על Matrix Factorization יחשוף אילו גנים משתנים ביחד ומושפעים מהקרבה בין סוגי התאים השונים.
האם ניבוי המצב העתידי של התאים ברקמה סרטנית יחשוף אינטראקציות בין תאי סרטן לתאי מערכת חיסון? אילו קומבינציות של גנים מתארות את אותן אינטראקציות בין סוגי התאים השונים?
הפרויקט מנסה לענות על שאלות אלה תוך יישום האלגוריתמים והתאמתם למפה הגנומית המרחבית של הרקמה הסרטנית.

מטרת הפרויקט:

בפרוייקט נכתוב קוד שיממש RNA velocity model על מטריצות ביטוי גנים שהתקבלו משיטת single cell RNA sequencing. מאחר והמודל החדשני מאפשר ניבוי של ה-mRNA העתידי בתא, נחלץ מידע רחב היקף זה על התהליכים הדינמיים ברקמה הסרטנית. כמו כן, בשילוב עם המידע המרחבי של התאים ברקמה, ננסה לבדוק האם תאי מערכת החיסון מציגים דפוס ייחודי בביטוי הגנים העתידי שלהם כפונקציה של המרחק שלהם מתאי הסרטן. בנוסף, נשתמש בשיטה החישובית cNMF לזיהוי קומבינציות של גנים שמשתנים יחד ומתארים אינטראקציות בין תאי מערכת החיסון לבין תאי הסרטן.

תכולת הפרויקט:

1. ניתוח מקדים של הנתונים: הכנה מותאמת של מטריצות ביטוי גנים כקלט לאלגוריתם.
2. הכרה עמוקה של האלגוריתם לשלביו השונים, כתיבת קוד בפייתון שכולל מימוש של המודל.
3. ניתוח הנתונים וזיהוי דפוסים בדאטא הויזואלי שהתקבל מהמודל.
4. בחינת הקשר בין הדפוסים שהתקבלו במודל בקרב תאי מערכת החיסון לבין המידע על המרחק הפיזי שלהם מתאי הסרטן.
5. סיכום התוצאות.

קורסי קדם:

מבוא להסתברות וסטטיסטיקה

דרישות נוספות:

תכנות בפייתון.
רקע בביולוגיה הוא יתרון.
יתרון למי שלקח את הקורס בנוירו-גנומיקה.

מקורות:

  1. Xia, C., Fan, J., Emanuel, G., Hao, J., & Zhuang, X. (2019). Spatial transcriptome profiling by MERFISH reveals subcellular RNA compartmentalization and cell cycle-dependent gene expression. Proceedings of the National Academy of Sciences, 116(39), 19490-19499.‏
  2. La Manno, G., Soldatov, R., Zeisel, A., Braun, E., Hochgerner, H., Petukhov, V., ... & Kharchenko, P. V. (2018). RNA velocity of single cells. Nature, 560(7719), 494-498.‏
  3. https://www.alonlab.org/technology
124 Utilizing deep learning algorithms on genomic maps from cancer tissues to uncover cell-cell interactions
הפעלת אלגוריתמים של למידה עמוקה על תמונות ממפות גנומיות של רקמות סרטניות לזיהוי אינטראקציות בין סוגי תאים שונים
אחריות אקדמית:

הרקע לפרויקט:

גנומיקה מרחבית היא משפחה של טכנולוגיות המאפשרת לזהות את מיקום הגנים בתוך רקמות. לטכנולוגיות אלו חשיבות רבה בסרטן, כיוון שזה מאפשר לדעת איזה סוגי תאים נמצאים בתוך ביופסיות מחולים. המעבדה שלנו יצרה מפות גנומיות המציגות את הביטוי המרחבי של כ-300 גנים שונים ברקמות סרטניות, בתוך ומחוץ לתאים ברקמה. התמונות של המפות הגנומיות יכולות לשמש כקלט לרשתות נוירונים. בנייה איכותית של רשתות הנוירונים ואימונן על גבי התמונות יכולה לחשוף מידע על מצב התאים הנמצאים ברקמה. דוגמה למצב כזה היא אינטראקציה בין תאים מסוגים שונים, למשל תא ממערכת החיסון שנמצא קרוב לתא סרטני ומושפע ממנו ברמת ביטוי הגנים שלו.
האם התמונות הגנומיות יכולות לחשוף לא רק את סוגי התאים שנמצאים בתוך הרקמה הסרטנית, אלא גם את מצב התאים והאינטראקציה ביניהם?

מטרת הפרויקט:

בפרויקט נפעיל שיטות של עיבוד תמונה לצורך התאמת המפות הגנומיות שישמשו כקלט לאלגוריתמים של למידה עמוקה. נממש כתיבת קוד ויישום של רשתות נוירונים, תוך אימון ושיפור הביצועים של המודל. נשתמש בכלים חישוביים לחלץ פרשנות ביולוגית מהרשתות, החל מזיהוי סוגי התאים ברקמה ובהמשך חשיפת אינטראקציות בין סוגי התאים השונים - האם התא הגיב ברמה הגנומית לתא הסמוך אליו על סמך התמונה שהוכנסה כקלט לרשת.

תכולת הפרויקט:

1. סקר ספרות - איזה שיטות של רשתות נוירונים / למידה עמוקה קיימות לניתוח מידע של גנומיקה מרחבית בהקשר של סרטן.
2. ניתוח ראשוני של המידע הוויזואלי בכלים של עיבוד תמונה על מנת להכין קלט לרשתות נוירונים.
3. בנייה ואימון של רשתות נוירונים לצורך ניתוח המידע.
4. פרשנות של הרשתות בעזרת כלים חישוביים כדי לגלות איזה גנים במרחב שימשו לקבלת ההחלטה.

קורסי קדם:

רשתות נוירונים

דרישות נוספות:

תכנות בפייתון.
רקע בעיבוד תמונה הוא יתרון.
רקע בביולוגיה הוא יתרון.
יתרון למי שלקח את הקורס בנוירו-גנומיקה.

מקורות:

https://www.alonlab.org/technology

126 Computational analysis tools for studying tumor samples
שימוש בכלים חישוביים לניתוח דוגמאות סרטניות
אחריות אקדמית:

הרקע לפרויקט:

אחת הדרכים להתאים טיפולים לחולים בסרטן היא על ידי מיפוי מולקולרי רחב היקף ברזולוציה גבוהה של רקמות. עם זאת, ניתוח המידע מהווה אתגר מרכזי -- איך אפשר לייצג ולנתח מידע מתמונות של מיליוני מולקולות כדי להחליט מה מצב התאים ברקמה הסרטנית? הפרויקט מנסה להתמודד עם האתגר הזה על ידי שימוש בכלים חישוביים, כמו עיבוד תמונה ושיטות של למידת מכונה ולמידה עמוקה.

מטרת הפרויקט:

בפרויקט נשתמש במידע שהתקבל מטכנולוגיה שהיא בחזית המדע של חקר הסרטן - מיפוי מדויק של מולקולות ברקמה סרטנית וננתח אותו באמצעות שימוש בכלים חישוביים, כמו עיבוד תמונה ושיטות של למידת מכונה ולמידה עמוקה.

תכולת הפרויקט:

1. הכרת הנתונים הביולוגיים המשמשים כקלט וכפלט לשלב ניתוח הדאטא.
2. הבנת סט האלגוריתמים בשימוש במעבדה.
3. סקר ספרות לזיהוי כלים רלוונטים מהספרות העכשווית.
4. כתיבת קוד הכולל שיפור האלגוריתמים הקיימים במעבדה, יצירת אלגוריתמים חדשים, ואוטומציה שתאפשר ניתוח של מספר רקמות בצורה מהירה.
5. ניתוח הנתונים וזיהוי דפוסים של מצבי התאים במחלה.
6. סיכום התוצאות.

קורסי קדם:

מבוא ללמידת מכונה

דרישות נוספות:

  • הקורס כריית מידע וייצוג מידע – 83676 הוא יתרון
  • הקורס נוירו-גנומיקה הוא יתרון
  • הקורס רשתות נוירונים הוא יתרון
  • רקע בביולוגיה הוא יתרון


מקורות:

https://www.alonlab.org/technology

127 Detection of cell typing by utilizing deep learning algorithms
זיהוי סוגי תאים ברקמות בעזרת אלגוריתמים של למידה עמוקה
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

תחום הגנומיקה מאפשר מדידה רבת היקף של גנים -- כל הגנים (כ-20 אלף) נמדדים בו זמנית. גנומיקה ברמת התא הבודד מאפשרת לזהות את התוכן המולקולרי של התאים, כלומר איזה גנים באים לידי ביטוי בכל תא. בזכות המדידה של כלל הגנים, גנומיקה ברמת התא הבודד מאפשרת לזהות בקלות יחסית את סוגי תאים: למשל, האם התא שנחקר הוא תא סרטני?.
גנומיקה מרחבית היא משפחה של טכנולוגיות המאפשרת לזהות את מיקום הגנים בתוך רקמות. המעבדה שלנו יצרה מפות גנומיות המציגות את הביטוי המרחבי של כ-300 גנים שונים ברקמות סרטניות. עם זאת, מכיוון שלא נמדדים כלל הגנים אלא רק חלק מהם, זיהוי סוגי התאים הופך למשימה מורכבת יותר.
האם ניתן להסיק מנתוני הגנומיקה במרחב את סוגי התאים? אם נדע לעשות את זה נוכל לדעת אם בביופסיה של חולים יש תאי סרטן שצמודים לתאי חיסון, ולכך יש חשיבות רבה בטיפול בסרטן. יש למשל משפחה של תרופות אימונותרפיות, שהיעילות שלהן תלויה בכך שתאי חיסון יהיו סמוכים פיזית לתאי הסרטן.

מטרת הפרויקט:

כדי להסיק מנתוני גנומיקה במרחב את סוגי התאים אנחנו נשתמש במידע מרובה היבטים: נשתמש גם במדידות של הגנים במרחב, גם במדידות גנומיות ברמת התא הבודד (מרקמות סמוכות), גם במיקום התאים במרחב, וגם בצורה הפיזית של התאים, שאותה אפשר לזהות ממדידות של גנומיקה במרחב.
את כל הנתונים הללו נכניס כקלט למודל של רשתות נוירונים / למידה עמוקה. המטרה תהיה לזהות את סוגי התאים ברקמות הסרטניות.

בפרויקט נפעיל שיטות של עיבוד תמונה כדי לזהות את צורת התאים ומיקומם במרחב. נממש כתיבת קוד ויישום של רשתות נוירונים, תוך אימון ושיפור הביצועים של המודל. נשתמש ברשת נוירונים שמאפשרת לחלץ בקלות יחסית פרשנות לאיך התקבלה ההחלטה על סוגי התאים.

תכולת הפרויקט:

1. ניתוח של המידע הוויזואלי בכלים של עיבוד תמונה על מנת לזהות את צורות התאים ומיקומם.
2. אינטגרציה של מידע מרובה היבטים.
3. בנייה ואימון של עצי החלטה לצורך ניתוח המידע.
4. בנייה ואימון של רשתות נוירונים לצורך ניתוח המידע.
5. פרשנות של הרשתות בעזרת כלים חישוביים כדי לגלות איך התקבלה ההחלטה על סיווג התאים.
6. השוואה לידע מוקדם וסיכום הנתונים.

קורסי קדם:

  • רשתות נוירונים


דרישות נוספות:

  • הקורס כריית מידע וייצוג מידע נחוץ - אפשר לעשות אותו במקביל לפרויקט.
  • תכנות בפייתון הכרחי.
  • רקע בעיבוד תמונה הוא יתרון.
  • רקע בביולוגיה הוא יתרון.
  • יתרון למי שלקח את הקורס בנוירו-גנומיקה.


מקורות:

  1. https://www.alonlab.org/technology
  2. https://proceedings.mlr.press/v162/yang22i.html
129 A Machine Learning Model for Predicting Sensor Localization in Brain Networks
מודל מבוסס למידת מכונה לחיזוי מיקום הסנסור ברשת מוחית
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

ניתוחי מוח למחלות שונות כוללים במקרים רבים הסרה של איזורים פתולוגיים מסוימים, למשל איזור עם גידול סרטני. לצורך שימור ושיקום יכולות תפקודיות קריטיות כמו דיבור, תנועה, ותפקודים קוגניטיביים אחרים, יש צורך למפות איזורים תפקודיים במטופלים. אלקטרודות ייעודיות המונחות ישירות על המוח החשוף מאפשרות להקליט פעילות מוחית חשמלית בטכנולוגיה מבטיחה הנקראת אלקטרוקורטיקוגרפיה (ECOG). במחקרים קודמים הראינו כי נתוני ECOG הנאספו ממספר סנסורים במהלך ניתוח מוח בערות של מטופלים עם גידול מוחי, מכילים מידע הקשור לרשתות מוחיות הקשורות לתפקודים שונים. עם זאת, אנחנו מאמינים שיש שוני בארגון הרשתות בין המטופלים. מציאת שיטות להתאמה אישית של ארגון הרשתות במוח ברמת הפרט הינה שלב קריטי במיפוי המוח.

בפרויקט זה נשתמש בכלים של למידת מכונה ולמידה עמוקה כדי לחזות את הרשתות המוחיות שבהן נמצאים הסנסורים השונים. במהלך הפרויקט נשתמש גם בשיטות שונות של עיבוד אותות על מנת לקבל מאפיינים שונים על כל אות חשמלי במטרה להשתמש במאפיינים אלה לחיזוי הרשת אליה שייך כל סנסור.

מטרת הפרויקט:

מטרת הפרויקט היא הבנה ושימוש בכלים של למידת מכונה ולמידה עמוקה לסיווג של כל סנסור אל הרשת אליה שייך תוך התמקדות ברשת ספציפית, דבר היכול להוביל למיפוי מוח אישי. הפרויקט יכלול ניתוח נתונים, שימוש במודלים מעולמות הלמידה עמוקה ומודלים סטטיסטים על מנת למפות את ארגון הרשתות במוח ברמת הפרט.

תכולת הפרויקט:

עבודת הסטודנטים תכלול : לימוד תאורטי וקריאה בספרות על מחקרים בתחום, עיבוד מקדים של הנתונים, בניית מודלים לחיזוי מיקום האלקטרודות במוח האדם ברמת הפרט, שימוש במודלים סטטיסטים. שימוש ופיתוח כלים בכלים בעיבוד אותות והצגת נתונים.

קורסי קדם:

אין

דרישות נוספות:

עיבוד אותות, מדעי נתונים ביולוגיים, כל ידע בתחום מדעי המוח , יכולות תכנות בפייתון או matlab, מבוא ללמידת מכונה.

מקורות:

  1. Assem, M., Hart, M. G., Coelho, P., Romero-Garcia, R., McDonald, A., Woodberry, E., Morris, R. C., Price, S. J., Suckling, J., Santarius, T., Duncan, J., & Erez, Y. (2023). High gamma activity distinguishes frontal cognitive control regions from adjacent cortical networks. Cortex, 159, 286–298. https://doi.org/10.1016/j.cortex.2022.12.007
  2. Penny, W. D., Duzel, E., Miller, K. J., & Ojemann, J. G. (2008). Testing for nested oscillation. Journal of Neuroscience Methods, 174(1), 50–61. https://doi.org/10.1016/j.jneumeth.2008.06.035
130 Predicting Cognitive Load Using High-Precision Eye-Tracking System and Machine Learning for Brain-Computer Interfaces (BCIs)
ניבוי עומס קוגניטיבי באמצעות מערכת עוקב עיניים מתקדמת ולמידת מכונה עבור ממשקי מוח-מחשב (BCIs)
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

עומס קוגניטיבי הינו אחד החסמים העיקריים בתפעול מערכות שונות ונמצא כיום במרכז העניין של חברות רבות בתעשייה. על מנת לנטר עומס קוגניטיבי, יש צורך לפתח ממשקי מוח-מכונה אשר יאפשרו למדוד את רמת העומס בזמן אמת. גורמים רבים משפיעים על עומס קוגניטיבי, ביניהם סביבה ויזואלית עמוסה ועשירה שבה יש מידע רב שחלק משמעותי ממנו אינו רלוונטי לביצוע המשימה. מכשיר עוקב עיניים הינו ציוד טכנולוגי מתקדם שמיועד למדידה ולרישום של תנועות העיניים ברזולוציה גבוה. בין השאר, טכנולוגיה זו משמשת לזיהוי המידע שעליו מסתכלים ולהבנה של האופן שבו אנו פועלים בסביבה ויזואלית. על כן, שימוש בתנועות עיניים מהווה בסיס לפיתוחים של ממשק-מוח מכונה שבהן תפעול מערכות מותאם למצב הקוגניטיבי כפי שנמדד בתנועות העיניים, כמו גם מערכות שמופעלות ללא מגע על בסיס תנועות עיניים.

במהלך הפרויקט נרצה לזהות עומס קוגניטיבי באמצעות מדדים שונים הנמדדים באמצעות עוקב העיניים. הפרויקט יתמקד בניבוי מצב של עומס קוגניטיבי על-פי המדדים השונים, לדוגמא גודל האישון, זמן תנועת העין ועוד. לצורך כך תיבנה פרדיגמה ניסויית ממוחשבת עם עומס קוגניטיבי משתנה, אותה ניישם בעזרת מכשיר עוקב עיניים מתקדם ואיסוף נתונים בניסויים עם נבדקים. בהמשך נבצע ניתוח נתונים תוך שימוש במודלים של למידת מכונה.

מטרת הפרויקט:

מטרת הפרויקט היא הבנה ושימוש בכלים של למידת מכונה ולמידה עמוקה לניבוי מצב של עומס קוגנטיבי תוך שימוש במאפיינים הנמדדים ממערכת עוקב עיניים מתקדמת. הפרויקט יכלול ניתוח נתונים, ושימוש במודלים מעולמות למידת המכונה והלמידה עמוקה.

תכולת הפרויקט:

עבודת הסטודנטים תכלול: לימוד תאורטי וקריאה בספרות על מחקרים בתחום, בניית פרדיגמה ניסויית, איסוף נתונים, עיבוד מקדים של הנתונים, בניית מודלים לניבוי מצב של עומס קוגנטיבי, שימוש במודלים של למידת מכונה ולמידה עמוקה.

קורסי קדם:

אין

דרישות נוספות:

מדעי נתונים ביולוגיים, כל ידע בתחום מדעי המוח , יכולות תכנות בפייתון או matlab, מבוא ללמידת מכונה.

מקורות:

  1. Buschman, T. J., & Kastner, S. (2015). From behavior to neural dynamics: An integrated theory of attention. Neuron, 88(1), 127–144.
  2. Carrasco, M. (2011). Visual attention: The past 25 years. Vision Research, 51(13), 1484–1525.
  3. Carter, B. T., & Luke, S. G. (2020). Best practices in eye tracking research. International Journal of Psychophysiology, 155, 49–62.
135 Machine Learning as a Tool to Circadian Gene Dynamics Characterization in the Mouse Kidney
למידת מכונה ככלי לאפיון דינמיקה של גנים מחזוריים בכליה
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

Circadian genes regulate biological rhythms that follow a 24-hour cycle, influencing various physiological processes such as sleep, metabolism, and organ function. In the kidney, these genes control the timing of vital functions like electrolyte balance, filtration, and blood pressure regulation. Researching circadian genes in the kidney can improve kidney disease therapy by identifying how disruptions in these rhythms contribute to disease progression and how timing treatments to the body’s natural cycles might enhance their efficacy. Understanding circadian regulation may lead to more personalized and effective therapeutic strategies for kidney disorders.

מטרת הפרויקט:

The aim of this project is to characterize the dynamics of circadian genes in the kidney through the use of machine learning techniques and bioinformatic tools.

תכולת הפרויקט:

Data processing, R programming and algorithm implementation, learning and applying computational methods for analysing time-dependent biological processes, possibility of collaborative work with other labs.

קורסי קדם:

נוירוגנומיקה או ביולוגיה חישובית, מדעי נתונים ביולוגים

דרישות נוספות:

בסיס בשפת תכנות R, מערכת UNIX

מקורות:

  1. Bingham, M. A., Neijman, K., Yang, C. R., Aponte, A., Mak, A., Kikuchi, H., Jung, H. J., Poll, B. G., Raghuram, V., Park, E., Chou, C. L., Chen, L., Leipziger, J., Knepper, M. A., & Dona, M. (2023). Circadian gene expression in mouse renal proximal tubule. American journal of physiology. Renal physiology, 324(3), F301–F314. https://doi.org/10.1152/ajprenal.00231.2022
  2. Carbonetto, P., Luo, K., Sarkar, A. et al. GoM DE: interpreting structure in sequence count data with differential expression analysis allowing for grades of membership. Genome Biol 24, 236 (2023). https://doi.org/10.1186/s13059-023-03067-9
137 Machine learning analysis of single cell data from Wilms' tumors
ניתוח נתוני סינגל-סל מגידולי ויילמס ע"י כלים מלמידת מכונה
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

Machine learning plays a transformative role in analyzing single-cell data, helping researchers uncover meaningful patterns from vast and complex datasets. In single-cell studies, machine learning algorithms can cluster cells based on similarities in their molecular profiles, revealing hidden cell types and unique states within mixed populations. It also excels at identifying relationships and patterns that would be difficult to detect manually, such as finding key genes driving cell behavior or predicting how cells might respond to different treatments. These insights enable scientists to better understand cellular processes and diseases, ultimately leading to advances in targeted therapies and personalized medicine.

מטרת הפרויקט:

This project will leverage cutting-edge machine learning algorithms to analyze single-cell data from Wilms tumors, a pediatric kidney cancer. By applying advanced clustering and predictive models, we aim to map the cellular landscape of Wilms tumors at an unprecedented level of detail, identifying specific cell types, subtypes, and cellular states. Machine learning will be used to pinpoint key genes and pathways that drive tumor growth, differentiation, and response to treatments. The insights gained could reveal novel biomarkers and therapeutic targets, paving the way for more effective, personalized treatments for young patients with Wilms tumors.

תכולת הפרויקט:

Reading of relevant literature, data preprocessing, PCA and other dimensionality reduction techniques, gene expression and regulatory analysis, and implementation of advanced downstream models.

קורסי קדם:

מומלץ: ביולוגיה חישובית/ביואינפורמטיקה או ניורו גנומיקה (אפשר גם במקביל)

דרישות נוספות:

רקע בסיסי בפייתון או R

מקורות:

  1. https://pubmed.ncbi.nlm.nih.gov/36834944/
  2. https://www.nature.com/articles/s41576-023-00586-w
138 Combining Machine Learning and Verification for uncovering GRNs of Kidney Cells
אלגוריתמים לשילוב של למידת מכונה ואימות של רשתות גנטיות בתאי כליה
אחריות אקדמית:

הרקע לפרויקט:

רשתות גנטיות חישוביות מאפשרות לתאר דינמיקה של רשתות גנטיות בתאים ביולוגיים וכך להסביר תצפיות ניסיוניות ולנבא תוצאות של ניסיונות שעדיין לא בוצעו. בשנים האחרונות פותחו שיטות אלגוריתמיות חדשות המאפשרות סינתזה – פתרון אוטומטי של הבעיה. בפרויקט נשלב שיטות של למידת מכונה לניתוח מרחב הפתרונות ולניבוי התנהגות תאי כליה

מטרת הפרויקט:

מטרת הפרויקט לשלב אלגוריתמים לסינתזה של רשתות גנטיות תוך שימוש באימות פורמלי (Formal Verification) עם שיטות של למידת מכונה. אימות פורמלי מאפשר שימוש באלגוריתמים ושיטות מתמטיות להוכחת נכונות של מערכות תוכנה וחומרה מורכבות. בסינתזה השאיפה היא לייצר בצורה אלגוריתמית תוכנה שמובטח שעומדת באפיון נתון בלוגיקת הזמן, ובכך לקצר משמעותית את תהליך הפיתוח ולקבל מימוש נכון. בפרויקט נלמד איך שיטות אלה יכולות להיות מיושמות ומורחבות לביולוגיה של תאי כליה.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים ירכשו ידע בשיטות אימות פורמלי וסינתזה (Formal Verification and Synthesis) וייפתחו ויבדקו אלגוריתמים לפתרון יעיל ככל הניתן לבעיית הסינתזה של רשתות גנטיות . אתגר משמעותי בסינתזה הוא קושי אלגוריתמי לנתח מרחב מצבים גדול. מטרת הפרויקט תהיה להציע פתרונות אלגוריתמיים חדשים כולל ממוש יעיל של שיפורים בקוד של שילוב של למידת מכונה ואימות.

קורסי קדם:

83670 Biological Computation

מקורות:

  1. B. Yordanov S-J Dunn, H. Kugler, A. Smith, G. Martello and S. Emmott. A method to identify and analyze biological programs through automated reasoning. Nature Systems Biology and Applications, 2016.
  2. Manna, Zohar, and Amir Pnueli. "Temporal verification of reactive systems: safety." Springer (1995). https://www.nature.com/articles/s41556-023-01131-x
211 Secrets Extraction From SRAM Memory Using Deep Neural Networks
חילוץ סודות מזכרון SRAM בעזרת רשתות נוירונים
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

על ידי עירור תאי זכרון בעזרת לייזר אנו גורמים לתגובה ברשת החשמלית של ספק המתח לטרנזיסטורים המרכיבים תא זכרון. את תגובת המתח (ערוץ צד) אנו דוגמים ומזינים לרשת נוירונים שתמצא מה הערך האגור בכל תא זכרון.

מטרת הפרויקט:

התוצר הסופי יהיה רשת נוירונים אשר מסוגלת לקלוט דגימות מתח או זרם אשר נוצרו ע״י עירור בלייזר ולפלוט, בהסתברות כלשהי, איזה ערך אגור בתא הזכרון שהותקף.

תכולת הפרויקט:

הכרה של רשתות נוירונים, יישום רשת נוירונים DNN\CNN אשר תקבל סט דאטה ותאפשר קלאסיפיקציה של תאי זכרון על פני טווח ניסויים ופרמטרים.

קורסי קדם:

מעגלים חשמליים, מל״מ, תכנות

דרישות נוספות:

מעגלים חשמליים, מל״מ, תכנות

מקורות:

Laser Fault Injection (LFI), Laser Logic State Imaging (LLSI), Deep Neural Networks (DNN), Convolutional Neutral Networks (CNN)

219 Analog implementation of a Spiking Neural network
מימוש אנאלוגי של רשת נוירונים המפועלים ע"י פולסים
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

In recent years Artificial Neural Networks (ANN) have reached maturity, and AI is becoming a technology used everywhere. ChatGPT , Bard and Bing have vast distribution and ANN farms are growing exponentially. The ANN attempts to mimic the human brain as closely as possible to achieve the best possible computing power. As the brain signals are analog and spikey by nature the next step for Artificial Neural Networks is to implement Analog Spiking Neural networks (A-SNN).The aim of this project is to implement a A-SNN which is competitive with recent state-of-the-art publications.

מטרת הפרויקט:

In this project you will design a highly compact matrix of Analog Spiking Neurons that combined implement a full Analog Spiking Neural networks . The Neuron implementation will include the design of a switched-cap integrator and a comparator with a precise programable threshold (see figure below).Both the switched-cap integrator and the comparator will be based on previous designs. Once the Neuron is designed you will also design an array of Neurons which implements a full Analog Spiking Neural networks.You will need to learn the theory and then implement the circuit in 28nm/0.18u CMOS. The design includes both analog and digital blocks, which will allow you to develop skills in both.

תכולת הפרויקט:

In this project the student will first design a Spiking Neuron and then combine them into a full matrix that becomes a full Analog Spiking Neural Network. The implementation will be done using digital and analog techniques. The schematics will be prepared in Virtuoso and simulated. Layout and post-layout simulations will be conducted to verify the circuit performance.

קורסי קדם:

768330301 אלקטרוניקה לינארית - חובה
768332501 מעבדה למעגלים אנלוגיים – חובה
8330801 מעגלים אלקטרוניים ספרתיים – חובה
83315 מעבדה מעגלים אלקטרוניים ספרתיים – חובה
768361101 מעגלים משולבים אנלוגיים – מומלץ

דרישות נוספות:

This project is a paid research position for students who are interested in working in our lab part time, and also pursuing an MS degree afterwards. This project is together with some industrial partners.

מקורות:

  1. Y. Ko, S. Kim, K. Shin, Y. Park, S. Kim, and D. Jeon, “A 65 nm 12.92-nJ/Inference Mixed-Signal Neuromorphic Processor for Image Classification,” IEEE Transactions on Circuits and Systems II: Express Briefs, vol. 70, no. 8, pp. 2804–2808, Aug. 2023
  2. M. Ochs, M. Dietl, and R. Brederlow, “An Analog and Time-Discrete Neuron with Charge-Injection for Use in Ultra-Low Power Spiking Neural Networks,” in 2024 19th Conference on Ph.D Research in Microelectronics and Electronics (PRIME). Larnaca, Cyprus: IEEE, Jun. 2024, pp. 1–4
  3. J. Song, X. Tang, H. Luo, K. Xu, Y. Wang, Z. Ji, R. Wang,and R. Huang, “Spike-CIM: A 290TOPS/W Spike-Encoding Sparsity Adaptive Computing-in-Memory Macro with Differential Charge-Domain Integrate-and-Fire,” in 2022 IEEE Asian Solid-State Circuits Conference (A-SSCC). Taipei, Taiwan: IEEE, Nov. 2022, pp. 1–3
303 Developing empirical equation for the predication of the Iso-pathlength point
פיתוח משוואה אמפירית עבור תופעה פיזיקלית העוסקת בפיזור האור הזוויתי
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

חישה וניטור אחר השינויים בתכונות האופטיות של החומר, פיזור ובליעה, הינה פעולה קשה לביצוע מאחר ואין שיטה המאפשרת להפריד ביניהם במדידה ישירה. בעבר גילינו כי ישנה נקודה (Iso-pathlength point) שאיננה תלויה בתכונות הפיזור ועל כן נקודה זו מיטבית למדידות בהן דרושה הפרדה בין הבליעה לפיזור. תופעה זו אומתה במדמי רקמה גליליים בקטרים המדמים אצבע וזרוע, ועבור זיהוי מתכות כבדות בריכוזים נמוכים. בפרויקט נרצה לפתח משוואה המתארת תופעה זו באופן אמפירי לפי ניסויים וכן לפי סימולציות.

מטרת הפרויקט:

מידול פונקציה אמפירית עבור תופעת ה- Iso-pathlength point ואישורה לפי סימולציות.

תכולת הפרויקט:

בפרויקט הסטודנטים ימדדו מים מזוהמים בריכוזים שונים בכלי זכוכית גלילי. הם יכינו מערך ניסויים עצמאי הנישען על עבודות עבר במטרה למדל את התופעה הפיזיקלית. תוך כדי הם יתחילו בביצוע של סימולציות לחומרים השונים והניסויים השונים. הסטודנטים יחלצו מהניסויים משוואה אמפירית החוזה את התופעה לפי פרמטרי מערכת ואופטיים שונים של החומר. לבסוף הם יבדקו את ביצועה וימחישו זאת חומרים אחרים.

קורסי קדם:

מבוא לאופטיקה, שדות אלקטרומגנטיים.

דרישות נוספות:

גלאים, מעבדה באופטיקה.

מקורות:

1. Duadi, H.; Feder, I.; Fixler, D., Linear dependency of full scattering profile isobaric point on tissue diameter. Journal of biomedical optics 2014, 19 (2), 026007.
2. Duadi, H.; Feder, I.; Fixler, D., Influence of detector size and positioning on near-infrared measurements and ISO-pathlength point of turbid materials. Frontiers in Physics 2021, 9, 43.
3. Feder, I.; Duadi, H.; Fixler, D., Single wavelength measurements of absorption coefficients based on iso-pathlength point. Biomedical optics express 2020, 11 (10), 5760-5771.
4. Feder, I.; Duadi, H.; Fridman, M.; Dreifuss, T.; Fixler, D., Experimentally testing the role of blood vessels in the full scattering profile: solid phantom measurements. Journal of Biomedical Photonics & Engineering 2016, 2 (4).
5. Feder, I.; Wróbel, M.; Duadi, H.; Jędrzejewska-Szczerska, M.; Fixler, D., Experimental results of full scattering profile from finger tissue-like phantom. Biomedical optics express 2016, 7 (11), 4695-4701.
6. Organization, W. H., Guidelines for drinking-water quality: incorporating the first and second addenda. World Health Organization: 2022.
7. Zulkifli, S. N.; Rahim, H. A.; Lau, W.-J., Detection of contaminants in water supply: A review on state-of-the-art monitoring technologies and their applications. Sensors and Actuators B: Chemical 2018, 255, 2657-2689.

304 Characterizing Contamination in Water Using Q-Sensing Technique and Utilizing the Full Scattering Profile
אפיון מזהמים במים בעזרת קיטוב האור ומדידת פיזור האור הזוויתי בתחום הפיזור הבודד
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

בתעשיית איכות המים קיים צורך מובהק בזיהוי מזהמים במים. בפרט, יש צורך לדעת את סוג המזהם ואת ריכוזו באופן מוחלט. לצורך כך יש לנטר את השינויים בתכונות האופטיות של הדוגמה: פיזור ובליעה, אך בשיטות הקיימות היום קשה להפריד ביניהם. בעבר גילינו כי יש נקודת המכיילת פיזור ועל כן מיטבית למדידות בהן דרושה הפרדה בין הבליעה לפיזור. תופעה זו אומתה במדמי רקמה גליליים בקטרים המדמים אצבע, ועבור זיהוי מתכות כבדות בריכוזים נמוכים. כעת נרצה לשלב את שיטת ה-Q-sensing שמנצלת את קיטוב האור ומפרידה בין פיזור שטחי לפיזור עמוק על מנת לזהות מזהמים במים.

מטרת הפרויקט:

הוכחת שיפור יכולות הזיהוי של המערכת האופטית עבור מדידות של מזהמים במים.

תכולת הפרויקט:

בפרויקט הסטודנטים ימדדו מים מזוהמים בריכוזים משתנים של חלקיק לכל מיליון ppm בכלי זכוכית גלילי ובאורכי גל שונים. לאחר מכן יתחילו את העבודה העיקרית של שיפור המערכת האופטית למדידת פרופיל הפיזור בעזרת אמצעים וכלים אופטיים מגוונים. הסטודנטים יוכיחו כי שיפרו את יכולות הזיהוי של המערכת בכך שמדדו את המזהמים בריכוזים נמוכים יותר של חלקיק לכל מיליארד חלקיקים PPB.

קורסי קדם:

מבוא לאופטיקה, שדות אלקטרומגנטיים, גלאים, מעבדה באופטיקה.

מקורות:

1. Duadi, H.; Feder, I.; Fixler, D., Linear dependency of full scattering profile isobaric point on tissue diameter. Journal of biomedical optics 2014, 19 (2), 026007.
2. Duadi, H.; Feder, I.; Fixler, D., Influence of detector size and positioning on near-infrared measurements and ISO-pathlength point of turbid materials. Frontiers in Physics 2021, 9, 43.
3. Feder, I.; Duadi, H.; Fixler, D., Single wavelength measurements of absorption coefficients based on iso-pathlength point. Biomedical optics express 2020, 11 (10), 5760-5771.
4. Feder, I.; Duadi, H.; Fridman, M.; Dreifuss, T.; Fixler, D., Experimentally testing the role of blood vessels in the full scattering profile: solid phantom measurements. Journal of Biomedical Photonics & Engineering 2016, 2 (4).
5. Feder, I.; Wróbel, M.; Duadi, H.; Jędrzejewska-Szczerska, M.; Fixler, D., Experimental results of full scattering profile from finger tissue-like phantom. Biomedical optics express 2016, 7 (11), 4695-4701.
6. Organization, W. H., Guidelines for drinking-water quality: incorporating the first and second addenda. World Health Organization: 2022.
7. Zulkifli, S. N.; Rahim, H. A.; Lau, W.-J., Detection of contaminants in water supply: A review on state-of-the-art monitoring technologies and their applications. Sensors and Actuators B: Chemical 2018, 255, 2657-2689.

305 Sensing Optical Depth in tissues Using the Q-sensing technique
חישת עומק החדירה של הפוטונים ברקמות בעזרת קיטוב האור
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

התכונות האופטיות של החומר מגדירות את אופן האינטראקציה של האור עם רקמות ביולוגיות. שיטות קיימות לא מצליחות להפריד בין אור שחוזר מפיזור מרובה ז"א מאור שחדר עמוק לרקמה לבין אור שחוזר אחרי פיזורים מועטים ז"א ממיקרונים בודדים מתחת לפני השטח. בפרויקט זה נעשה שימוש בקיטוב של האור על מנת להפריד בין סוגי הפיזורים הללו, ונחקור את עומק החדירה של פוטונים.

מטרת הפרויקט:

מדידת עומק החדירה של פוטונים לפי מיקום הקריאה של הגלאי ביחס לתכונות האופטיות של הרקמה.

תכולת הפרויקט:

במסגרת הפרויקט הסטודנטים יכיילו מערכות אופטיות קיימות ואף ישפרו אותן על מנת לשפר את הרזולוציה. הסטודנטים יכינו את הרקמות המלאכותיות במעבדה וימדדו אותן במערכת עם שיטת ה- Q-sensing.

קורסי קדם:

מבוא לאופטיקה, שדות אלקטרומגנטיים, גלאים, מעבדה באופטיקה.

מקורות:

1. Duadi, H.; Feder, I.; Fixler, D., Linear dependency of full scattering profile isobaric point on tissue diameter. Journal of biomedical optics 2014, 19 (2), 026007.
2. Duadi, H.; Feder, I.; Fixler, D., Influence of detector size and positioning on near-infrared measurements and ISO-pathlength point of turbid materials. Frontiers in Physics 2021, 9, 43.
3. Feder, I.; Duadi, H.; Fixler, D., Single wavelength measurements of absorption coefficients based on iso-pathlength point. Biomedical optics express 2020, 11 (10), 5760-5771.
4. Feder, I.; Duadi, H.; Fridman, M.; Dreifuss, T.; Fixler, D., Experimentally testing the role of blood vessels in the full scattering profile: solid phantom measurements. Journal of Biomedical Photonics & Engineering 2016, 2 (4).
5. Feder, I.; Wróbel, M.; Duadi, H.; Jędrzejewska-Szczerska, M.; Fixler, D., Experimental results of full scattering profile from finger tissue-like phantom. Biomedical optics express 2016, 7 (11), 4695-4701.
6. Organization, W. H., Guidelines for drinking-water quality: incorporating the first and second addenda. World Health Organization: 2022.
7. Zulkifli, S. N.; Rahim, H. A.; Lau, W.-J., Detection of contaminants in water supply: A review on state-of-the-art monitoring technologies and their applications. Sensors and Actuators B: Chemical 2018, 255, 2657-2689.

307 Establish an integration sphere system for optical sensing
הקמת מערכת חישה אופטית מסוג כדור אינטגרציה
אחריות אקדמית:

הרקע לפרויקט:

כאשר קרינה אלקטרומגנטית פוגעת בחומר, האינטראקציה שנוצרת היא ייחודית עבור כל חומר ואורך הגל של הקרינה. התוצאה (בליעה, פיזור, שינוי כיוון) תלויה בתכונות האופטיות של החומר עבור כל אורך גל, ולכן מדידה של תוצאת האינטראקציה, אותה ניתן לעשות באופן בלתי פולשני, מאפשרת לזהות חומרים באמצעים אופטיים. תכונות דומיננטיות של החומר הן הבליעה והפיזור. אם חומר הוא גם מפזר וגם בולע, כמו רקמות אנושיות, משימת חילוץ התכונות האופטיות מתוך המדידה נעשית עוד יותר מאתגרת מכיוון שקשה להפריד בין התכונות השונות. כדור אינטגרציה מאפשר לנתח את האור העובר דרך דוגמת חומר ומאפשר ללמוד על התכונות האופטיות של אותו החומר.

מטרת הפרויקט:

ביסוס מתודולוגי של חילוץ בליעה ופיזור מכדור אינטגרציה.

תכולת הפרויקט:

למידה: מהו כדור אינטגרציה, אופן הפעולה, שימושים, מבנה, קוד, ממשק.
בניית סט אפ אופטי.
הכנת דוגמאות למדידה.
שימוש בקוד אנליזה.
בניית ממשק משתמש.
השוואה עם שיטות אחרות.

קורסי קדם:

שדות אלקטרומגנטיים / מבוא לאלקטרואופטיקה

מקורות:

  1. Prahl, S. (1999). Optical property measurements using the inverse adding-doubling program. Oregon Medical Laser Center, St. Vincent Hospital, 9205, 1-53.‏
  2. D. K. Edwards, J. T. Gier, K. E. Nelson, and R. D. Roddick, "Integrating Sphere for Imperfectly Diffuse Samples*," J. Opt. Soc. Am. 51, 1279-1288 (1961)
  3. Lemaillet, P., Cooksey, C. C., Hwang, J., Wabnitz, H., Grosenick, D., Yang, L., & Allen, D. W. (2017). Correction of an adding-doubling inversion algorithm for the measurement of the optical parameters of turbid media. Biomedical Optics Express, 9(1), 55-71.
315 Incorporation of fiber-based water leakage detector
שילוב סיבים אופטיים לניטור נזילות מים מצינורות
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

במעבדה בוצע פיתוח של סנסור פוטוני המבוסס על סיב אופטי מיוחד שהדגים יכולת ראשונה לניטור נזילות של מים מצינור ומדידת שינויי ספיקה. יש רצון להרחיב יכולות אלו למדידה יותר נרחבת של ניטור צינורות מים. עיקרון הפעולה של סנסור הסיב הפוטוני כולל הזרקת אור דרך סיב מרובה מודים ומדידת שינוי בבניות ההתאבכות של המודים בינן לבין עצמם ביציאת הסיב. תבניות התאבכות אלו קשורות במעוותים שונים הנוצרים בסיב החישה ויכולים להעיד על מצב של נזילה בצנרת בה סיב החישה הותקן. ניתוח תבניות האור כולל הן ניתוח קלאסי והן הפעלה של אלגוריתמיקת למידת מכונה ובינה מלאכותית.

מטרת הפרויקט:

פיתוח אלגוריתמיקת חישה והדגמתה במערכת משאבות וצינורות מים

תכולת הפרויקט:

פיתוח אלגוריתמי, ניסויי מעבדה, ניתוח תוצאות

קורסי קדם:

מבוא לאופטיקה, אותות ומערכות

מקורות:

J. Philosof, Ye. Beiderman, S. Agdarov, Ya. Beiderman and Z. Zalevsky, “Optical multimode fiber-based pipe leakage sensor using speckle pattern analysis,” Sensors 2023, 23, 8634 (2023).

323 Coherence Detection of Vital Signs in X-Band using AI
חישה קוהרנטית של אותות חיים בתדרי X-Band בשילוב AI
אחריות אקדמית:

הרקע לפרויקט:

הניסוי מוצע כניסוי המשך לסטודנטים במסלול אלקטרו-אופטיקה בשנה ד'.
משלב עיבוד אותות, אנטנות וקרינה, התפשטות אותות אלקטרו-מגנטיים, תוכנה ואלגוריתמיקה באלקטרו-אופטיקה. מאפשר למידה בתחום חישה קוהרנטית וזיהוי בעזרת תבניות Speckle, על בסיס מערכת מקמ"ש RF ו PNA ארבע-ערוצי שמומשה בהצלחה בפרוייקט קודם

מטרת הפרויקט:

ייצוב אלגוריתם ופיתוח קוד לזיהוי אותות חיים מאחורי מחסום אור נראה

תכולת הפרויקט:

א. שיפור ממשק לעיבוד הנתונים, מימוש אוטומציה בממשק Matlab
ב. סגירת אלגוריתמיקה והוכחת תקינותה על דאטה בייס נרחב וחיצוני, עיבוד אות, ניתוח תבניות Speckle
ג. עריכת ממשק ויזואלי והצגת תמונת שטח – מכ"מ בזמן אמת, חישה וניטור תנועה
ד. מודל מתמטי ופיסיקלי
ה. קוד ML על בסיס האלגוריתמיקה

קורסי קדם:

אופטיקה, גלים אלקטרומגנטים, machine learning, עיבוד אות

דרישות נוספות:

תכנות, matlab, רקע באנטנות וקרינה

מקורות:

  1. Jones, R., & Wykes, C. (2012). Holographic and speckle interferometry (2nd ed., Vol. 6). Cambridge University Press.
  2. P. Jacquot and J.-M. Fournier, Eds., Interferometry in speckle light. Berlin, Heidelberg: Springer Berlin Heidelberg, 2000.
  3. InSARPrinciples P1, P2 (NASA)
  4. Antenna Theory, Analysis & Design, C.Balanis
501 Advanced analysis and simulations of nano-particle based viral testing
ניתוח וסימולציה מתקדמים של בדיקות וירליות על בסיס ננו-חלקיקים
אחריות אקדמית:

הרקע לפרויקט:

כיום, קיימות בדיקות לגילוי הדבקה בוירוס משני סוגים: בדיקות מבוססות הגבר DNA שהן מאד מדוייקות ומאד איטיות, ומאידך בדיקות מהירות אך פחות רגישות, כך שהן נותנות מענה רק בשלבי הדבקה מתקדמים. כפי שראינו בהתפשטות הקורונה, זה לא מספיק לבלימת מגפות ולכן הפרויקט יעסוק בסוג חדש של בדיקות מהירות ורגישות שמפותח במעבדה, המבוססות על הגבר של ננו-חלקיקים. הפרויקט מתאים למעוניינים להמשיך למחקר ומהווה המשך לפרויקט משנים קודמות.

מטרת הפרויקט:

מידול מתימטי של בדיקה וירלית המתבססת על הגבר של ננו-חלקיקים, ואפיון זמני הבדיקה ורגישותה.

תכולת הפרויקט:

בפרויקט יעשה שימוש במדידות שנעשו לאחרונה על ננו-חלקיקים המסוגלים לשחרר חומר מגיב בתגובה לנוכחות של מולקולות ספציפיות. המדידות יתורגמו למודל מתימטי בו יעשה שימוש הן לניתוח והן לסימולציה של מערכת ננו-חלקיקים שמסוגלת לזהות וירוסים.

קורסי קדם:

נושאים מתקדמים בתקשורת (במקביל לפרויקט)

מקורות:

Bergel, Itsik. "Detection and amplification of molecular signals using cooperating nano-devices." In ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 1259-1263. IEEE, 2019

503 Optimal network localization
איכון רשתות אופטימלי
אחריות אקדמית:

הרקע לפרויקט:

בכפר גלובלי כמו כדור הארץ של 2023, יותר ויותר מכשירים מתחברים לרשת תקשורת. ככאלה, קריטי לדעת את המיקום שלהם ולו רק למטרות ניתוב תקשורת, בקרה סביבתית, והתאמת תכנים למשתמש. חשוב שתהליך האיכון ייעשה בצורה כמה שיותר יעילה כדי לאפשר הקטנה של המכשיר וחיסכון במשאבים. אמנם, לחלק מהמכשירים יכולת איכון עצמאית (GPS), אך רכיבים פשוטים יותר יצטרכו ללמוד את המיקום שלהם מתוך הרשת עצמה.

מטרת הפרויקט:

בפרויקט זה נדרש ללמוד את תחום איכון הרשתות וליישם איכון של רשת תקשורת בצורה אופטימלית על ידי סימולציה ממוחשבת.

תכולת הפרויקט:

על הסטודנטים ללמוד על השיטות השונות לביצוע איכון רשתות, לבחור שיטה אחת, לתכנן ולממש סימולצית מטלב המדמה את פעולת האיכון ברשת.
ביצועי הסימולציה יושוו לחסמים קיימים וחסמים שיפותחו תוך כדי הפרויקט.

קורסי קדם:

נושאים מתקדמים בתקשורת (במקביל לפרויקט)
מומלץ SSP1

מקורות:

Bal, Mert, et al. "Localization in cooperative wireless sensor networks: A review." 2009 13th International Conference on Computer Supported Cooperative Work in Design. IEEE, 2009.

505 Deep learning optimization of relay networks – Joint learning and optimization
שימוש בכלי למידת מכונה לאופטמיזציה של רשת תקשורת עם ממסרים – שילוב לימוד ערוץ ואופטימיזציה
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

ממסר הוא רכיב תקשורת הקולט אות מגביר ומשדר אותו. ממסרים משמשים להגדלת טווח התקשורת והעלאת קצב המידע. טכנולוגיות חדשות מאפשרות ייצור והפעלה פשוטה של ממסרים רבים באותה רשת. ממסרים כאלו לא דורשים תשתית, ואפילו יכולים לאסוף אנרגיה מסביבתם. הכנסת עשרות ומאות ממסרים לרשת (לדוגמה בבניין אחד) יאפשרו הגדלה משמעותית בקצבי התקשורת. האתגר העיקרי ברשת כזו הוא בחירת פרמטרים נכונה לכל ממסר שתאפשר פעולה אופטימאלית של הרשת.

במחקר חדשני, אנו משתמשים באופי הלא לינארי של מגברים כדי ליצור הקבלה בין רשת תקשורת עם ממסרים לרשת נוירונים. בעזרת הקבלה זו, אנו מאפשרים שימוש בכלים הרבים הזמינים ללמידת מכונה על מנת לבצע אופטימיזציה של הרשת. יתירה מזו, אנו מצליחים גם לאמץ את היכולת של רשתות נוירונים לבצע חישובים, ולבצע חישובים תוך כדי מעבר האות ברשת הממסרים.

מטרת הפרויקט:

בפרויקט זה נממש סימולציה של רשת תקשורת סלוללרית עם משדר (תחנת בסיס) מספר מקלטים והרבה ממסרים. נשתמש בכלים של למידת מכונה על מנת לשפר את התקשורת ברשת וגם להשיג מטרה חשובה נוספת: נדרוש שהרשת תפריד את האות המשודר, כך שכל מקלט יקבל רק את האות הרצוי שלו, ולא יושפע מהאותות המשודרים לשאר המקלטים.

בפרויקט זה נרחיב את חזית הידע ונבחן גם את הבעיה של לימוד הערוץ. הפרויקט יתמקד בביצוע משולב של לימוד ערוץ ואופטימיזציה של המערכת.

הפרויקט בעל אופי מחקרי, ומתאים לסטודנטים מצטיינים המעוניינים להשתלב במחקר.

תכולת הפרויקט:

לימוד של רשתות תקשורת וכלי למידת מכונה, מימוש הרשת בפייתון, מימוש של אלגוריתם למידה שיאפשר לימוד ערוץ ואופטימיזציה של הרשת. ביצוע הלימוד והאופטימיזציה וניתוח התוצאות.

קורסי קדם:

למידת מכונה (אפשר במקביל לפרויקט)

מקורות:

https://arxiv.org/pdf/2306.14253.pdf

506 Quantitative determination of gold nanoparticles distribution In vivo using CT
כימות ננוחלקיקי זהב ברקמות ופיזורם בגוף על בסיס CT
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

לננו- חלקיקי זהב פוטנציאל גדול לשמש בתור תרופות עתידיות. במהלך פיתוח ובחינת תרופות חדשות אנו נדרשים לקבוע ניסיונית כיצד התרופה משפיעה על הגוף (פרמקודינמיקה) וכיצד הגוף משפיע על התרופה (פרמוקינטיקה). הפרופיל הפרמקוקינטי כולל פרמטר חשוב מאוד- פיזור התרופה בגוף (distribution) - תהליך המתאר את מעבר התרופה מהדם אל הרקמות. ניסויים אלו נעשים לרוב בחיות קטנות (מכרסמים).
בפרויקט זה נפתח שיטה לקביעת מספר ננו-חלקיקי הזהב ברקמות השונות על בסיס עיבוד תמונת CT. שיטה זו תבדק כנגד ICP- inductively coupled plasma spectroscopy - שהיא האנליזה הנהוגה היום לכימות מספר הננוחלקיקים ברקמה ומחייבת את מות החיה. אם נצליח, נוכל להפחית משמעותית את מספר החיות הנדרשות לניסויים מבלי לסכן את נכונות התוצאות או להשפיע על קביעת פרופיל הבטיחות של התרופה.

מטרת הפרויקט:

הסטודנטים יפתחו תוכנית המקבלת סריקות CT ומפענחת מהו ריכוז הזהב ברקמה הנבדקת.

תכולת הפרויקט:

1. סינתזה (הכנה) של ננו חלקיקי זהב
2. בדיקה ניסיונית של החלקיקים in vivo באמצעות CT
3. פיתוח האלגוריתם והשוואה לתוצאות ICP

קורסי קדם:

Python/MATLAB

דרישות נוספות:

עיבוד ספרתי של תמונות 83-629

מקורות:

Advantages and Limitations of Current Techniques for Analyzing the Biodistribution of Nanoparticles - https://doi.org/10.3389/fphar.2018.00802

507 Machine learning-based blind source separation
הפרדת מקורות עיוורת מבוססת למידת מכונה
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

הפרדת מקורות "עיוורת" הינה שם כוללת לאוסף השיטות שמטרתן להפריד אות המכיל "ערבוב" (לרוב, ליניארי) של רכיבים לרכיביו העצמאיים, עם מינימום הנחות ו/או ידע מקדים. ככזאת, גישה זו רלוונטית לתחומים רבים, כגון עיבוד אותות תקשורת (דחיית הפרעות) ואותות שמע (סינון רעשי רקע). פרויקט זה יעסוק בפיתוח שיטה מבוססת למידת מכונה להפרדת אותות תקשורת ולהשבחת ביצועי המקלט בפענוח ההודעה שנשלחה. פיתוח שיטות כמו זו שתפותח בפרויקט מקדם את יכולות העיבוד הדיגיטליות של מערכות תקשורת עתידיות, ולכן מביא לפוטנציאל שיפור נוסף בביצועי מערכות תקשורת במובן הרחב.

מטרת הפרויקט:

תוצר הפרויקט הינו רשת נוירונים מאומנת להפרדת אותות, כאשר אות העניין הינו אות תקשורת שיש לפענחו באופן הטוב ביותר (במובן הסתברות שגיאה לסיבית מינימלית) והאות המפריע יכול להיות אחד מכהמ סוגים. בעיה זו היא בעיה מוכללת ביחס לזו המוצגת באתגר https://rfchallenge.mit.edu.

תכולת הפרויקט:

1. קריאת מאמרים רלוונטיים
2. הבנת מתודולוגית הפתרון (למידה מפוקחת להפרדת אותות, ובפרט אימון רשת נוירונים מלאכותית)
3. מימוש הפתרונות הקיימים
4. הרחבת הפתרון הקיים לצורך הפרדת אות עניין מאות מפריע אשר סוגו אינו ידוע מראש
5. אימון הרשת ובחינתה לעומת ביצועי הפתרונות הקיימים

קורסי קדם:

1. מבוא ללמידת מכונה (83622)
2. תקשורת ספרתית 1 (83310)

מקורות:

  1. Lancho, A., Weiss, A., Lee, G.C.F., Tang, J., Bu, Y., Polyanskiy, Y. and Wornell, G. W., “Data-Driven Blind Synchronization and Interference Rejection for Digital Communication Signals”, in Proc. of IEEE Global Communications Conference (GLOBECOM), pp. 2296–2302, Dec. 2022. (https://arxiv.org/pdf/2209.04871.pdf)
  2. Lancho, A., Weiss, A., Lee, G.C.F., Jayashankar, T., Kurien, B., Polyanskiy, Y. and Wornell, G. W., "RF Challenge: The Data-Driven Radio Frequency Signal Separation Challenge", arXiv:2409.08839, Sep. 2024 (https://arxiv.org/abs/2409.08839)
603 Pruning LLM Networks to Increase Robustness and Improve Runtime for the Purpose of Harmful Prompt Classification
קיצוץ רשתות LLM להגדלת רובסטיות ושיפור זמני ריצה למטרת סיווג פרומפטים מזיקים
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

שיחות מזיקות באמצעות פלטפורמות מבוססות מודלי LLM הוא אחד הסכנות הגדולות הקיימות היום. כחלק מהאתגר, מפתחי Chatboot מנסים לפתח מנגנונים מסוג Responsible AI כדי למנוע תשובות "מזיקות". מאידך, משתמשים מנסים לפתח מנגנוני "הטעיה" שנקראים Jailbreaking כנגד מנגנוני ה-Responsible AI. לאחרונה נאסף בסיס נתונים גדול שפורסם לאחרונה במסגרת כנס ICLR שכולל אינטראקציות "נקיות" ורעילות - המאמר מפורסם בלינק הבא: https://arxiv.org/pdf/2405.01470. קיים צורך לפתח מודל ביניים שיוכל לזהות בצורה מהירה (מודלים יעילים) עם יכולת יציבה (רובסטיות גם מול הטעיות), לזהות Prompts רעילים מסוג זה. מטרת הפרויקט להציע מנגנון קיצוץ רשת מסוג LLM שתוכל להתמודד עם אתגרים אלו.

מטרת הפרויקט:

פיתוח מתודולוגיית קיצוץ רשת LLM עבור בעיית קלאסיפיקציה עם מספר מועט של קלאסים - כולל יישום לבעיית זיהוי Prompts רעילים מסוגים שונים.

תכולת הפרויקט:

1. להבין לעומק ארכיטקטורת רשתות LLM.
2. לפתח מנגנון קיצוץ רכיבים של רשת LLM לשפר ביצועי ריצה ולבחון שיפור רובסטיות.
3. לבצע יישום של המתודולוגיה על רשת LLM תוך יישום לבעיית זיהוי Prompts רעילים.

קורסי קדם:

נדרש להיות רשומים וללמוד את הקורסים עיבוד שפות טבעיות בטכניקות למידת מכונה ולמידה עמוקה עד סוף סמסטר א'.

דרישות נוספות:

ידע נרחב במבנה ועבודה עם רשתות עמוקות (רשתות קונבולוציה) הינו הכרחי. נדרש ממוצע תואר למעלה מ-85 עד סוף שנה שלישית עם ציונים גבוהים בקורסי הסתברות וקורסי למידה מכונה.

מקורות:

https://arxiv.org/pdf/2405.01470

604 Differentially Private Statistical-Hypothesis Tessting
מבחנים סטטיסטיים המשמרים פרטיות
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

שיטות לניתוחי דאטה המשמרות פרטיות באות במגוון דרכים ואלגוריתמים, ולכל אחת מהן יש טרייד-אוף משלה בין יעילות הניתוח לבין כמות "הפסד הפרטיות".

בפרויקט זה יתנסו הסטודנטים במימוש, בניתוח ובהשואה בין השיטות השונות.

מטרת הפרויקט:

מבחנים סטטיסטיים הוא תחום רחב של ניתוח דאטה באמצעותו סטטיסטיקאים משיגים תובנות עומק על דאטה. ישנן מטרות רבות אותן מבקש הסטטיסטיקאי לנתח (זהות, אי-תלות, רגרסיה וכו') ולכל אחת מגוון מבחנים שונים (פירסון, Z-test, הילברט-שמידט) שמתאימים כל אחד למצב מעט שונה.

בפרויקט זה יתרכזו הסטונדטים בביצוע מבחנים סטטיטיים ע"י אלגוריתמים משמרי פרטיות. בפרט, הפרויקט יתמקד בשיטות בפרטיות דיפרנציאלית -- שפועלות על ידי הרעשה רנדומית של המבחן הסטטיסטי. ומאחר שמבחנים סטטיסטיים הוא תחום רחב - הרי שפרויקט זה הוא למעשה אוסף פרויקטים דומים-אך-שונים, כשכל פרויקט מתמקד בשיטת מבחן אחרת.

חלק לא מבוטל בפרויקט הוא הכרת התחום של פרטיות דפרנציאלית, קריאת מאמרים והבנת השיטות השונות. משהסטודנטים ירכשו את הידע המוקדם, עיקר הפרויקט יתמקד בתכנון אלגוריתמי של ניתוחים סטטיסטיים שונים, במימוש שיטות, ובהשואת האלגורתימים על גבי מגוון דאטה-סטים שונים.

תכולת הפרויקט:

קריאה של מאמרי רקע
בחירת ה setting בו יתמקד הפרויקט
מימוש אלג' למידה פרטית
השואה של האלגוריתמים השונים על גבי דאטה-סטים שונים
ניתוח תאורטי של האלג'

קורסי קדם:

הסתברות וסטטיסטיקה
למידה ממוחשבת
אלג' 2 (ניתוח אלג' רנדומיים)

דרישות נוספות:

למידת מכונה אחראית

מקורות:

  1. https://www.cis.upenn.edu/~aaroth/Papers/privacybook.pdf
  2. https://ccanonne.github.io/files/misc/main-survey-fnt.pdf
605 Differentially Private Clustering Algorithms
אלגוריתמי קלאסטרינג פרטיים
מנחה:
אחריות אקדמית:

הרקע לפרויקט:

Differential privacy has been established in recent years as the "de-facto" gold standard of privacy preserving data analysis. In this project the students are expected to read, understand, implement and test a differentially private algorithm for locating a cluster / multiple clusters in a given dataset of points in the Euclidean space.

מטרת הפרויקט:

This project is centered around the problem of private data clustering. The students are expected to implement randomized algorithms that deal with clustering, including: noisy counting, above-threshold, locally-sensitive hashing, and randomly chosen axes.

Furthermore, the students are expected to test and compare the performance of said algorithms over multiple datasets.

Academically, the goal of the project is to have the students acquainted with differential privacy (DP) and the high-level ideas of differential privacy, as well as the technical difficulties that arise from the promise of DP.

Practically, the goal is to publish the project's code online, available for researchers world-wide.

תכולת הפרויקט:

The project's main focus is on understanding and implementing a scientific paper in differential privacy.

The project is based on 3 stages:

1. reading and understanding existing work,
2. implementation of algorithms in code and
3. testing empirical performance over synthetic / real-life data.

The main focus of the project is the 1-cluster algorithm of Nissim and Stemmer, composed of multiple building blocks.

The students are required to implement each of these subroutines and then wrap it all together in an algorithm of bounded privacy lose (i.e. a (\epsilon,\delta)-DP algorithm).

קורסי קדם:

83224- מבני נתונים ואלגוריתמים 2
83216- מבוא להסתברות וסטטיסטיקה

דרישות נוספות:

83698-מבוא ללמידת מכונה אחראית

מקורות:

1. arxiv.org/pdf/1804.08001
2. arxiv.org/pdf/1707.04766
3. www.cis.upenn.edu/~aaroth/Papers/privacybook.pdf