פרויקטי גמר - הנדסת חשמל - המעבדה לעיבוד אותות תשפ"ב

401 Regulation to improve multi-task learning

רגולציה לשיפור למידה מרובת משימות

שם המנחה: איתן פתיה
אחראי/ת אקדמי/ת: ד"ר איתן פתיה

הרקע לפרויקט:

Multi-task learning is faced with the challenge with using a unified model to make various predictions. For example, in autonomous driving we need to detect pedestrians, predict free space, perform lane detection etc. It is too expensive, from a computational standpoint, to run a separate model per task and we therefore try and train a single unified model. The problem is that the various task can interfere with each other and performance can drop when using multi-task learning.

מטרת הפרויקט:

The goal of this project is to improve multi-task learning by encouraging the gradients to have large cosine similarity.

תכולת הפרויקט:

The first part will be to implement previous work "REGULARIZING DEEP MULTI-TASK NETWORKS USING ORTHOGONAL GRADIENTS". We will then extend beyond and try improving on it.

קורסי קדם:

מבוא ללמידת מכונה - יכול להיות במקביל

מקורות:

Suteu, M.‪, & Guo, Y.‪ (2019)‪.‪ Regularizing Deep Multi-Task Networks using Orthogonal Gradients.‪

402 Using representation learning fom Gaussian process classification

שימוש בלימוד ייצוג לשיפור סיווג עם תהליכים גאוסיינים

שם המנחה: איתן פתיה ועידן אחיטוב
אחראי/ת אקדמי/ת: ד"ר איתן פתיה

הרקע לפרויקט:

Recently there has been great interest and success in representation learning in computer vision. We will investigate how these new model can help learn a kernel for Gaussian process classification, and how this can help machine learning in the low data regime.

מטרת הפרויקט:

The result would be a comparative evaluation on how representation learning can help Gaussian process classification, compared with a kernel learning baseline.

תכולת הפרויקט:

The students will need to use existing representation learning models, and apply Gaussian process classification on the learned features. They will then compare their ability to learn on a low data task.

קורסי קדם:

83841 למידת מכונה סטטיסטית (אפשר במקביל)

מקורות:

Gaussian Processes for Machine Learning
http://www.gaussianprocess.org/gpml/chapters/RW.pdf

403 Speech enhancement using NN and beamformer method

הנחתת רעשים ע"י שימוש ברשתות נוירונים ומסנן מרחבי

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

במקרים רבים ישנו צורך 'לנקות' את אות הדיבור המתקבל בנוסף לרעש בעוצמה גבוהה. לצורך זאת אנו נתמקד בשיטה מבוססת למידה עמוקה (רשתות נוירונים) אשר תבצע למידה של המערכת ממנה הגיע המקור. בנוסף נשתמש בידע על סוג הרעש ובמסנן מרחבי על מנת להגיע לתוצאה הרצויה

מטרת הפרויקט:

מטרת הפרוייקט הינה לבצע יכולת הנחתת רעשים תוך כדי שימור אות הדיבור

תכולת הפרויקט:

בפרוייקט הסטודנטים יצטרכו לבנות ולאמן רשת למידה לצורך שיערוך מערכת בשילוב עם שיטות סינון מרחביות להנחתת רעשים

קורסי קדם:

  • למידה עמוקה

  • אלגוריתמים סטטיסטיים לעיבוד אותות

  • עיבוד ספרתי של אותות 2

מקורות:

A. Aroudi and S. Braun, "DBnet: Doa-Driven Beamforming Network for end-to-end Reverberant Sound Source Separation," ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2021, pp. 211-215, doi: 10.1109/ICASSP39728.2021.9414187.

404 Source separation with multichannel variational autoencoder

הפרדת דוברים ע"י VAE

שם המנחה: אביעד איזנברג

אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

במקרים רבים נדרשת יכולת הפרדה של דוברים שונים מתוך דאטא מסויים. זוהי בעיה מאתגרת מאוד. בשנים האחרונות חלה עליה בשימוש בשיטות למידה עמוקה(רשתות נוירונים) לצורך פתרון בעיה זו. בפרוייקט זה אנו נשלב בין שיטות קיימות לשיטות למידה עמוקה לצורך פתרון הבעיה

מטרת הפרויקט:

יכולת הפרדת דוברים עיוורת, אימון וניתוח רשת נוירונים, בניית מודל סטטיסטי ופיתוחו

תכולת הפרויקט:

על הסטודנטים יהיה לאמן רשת ולבנות מודל סטטיסטי

קורסי קדם:

  • למידה עמוקה
  • אלגוריתמים סטיסטיים לעיבוד אותות
  • עיבוד ספרתי של אותות 2

מקורות:

  1. L. Li, H. Kameoka and S. Makino, "Fast MVAE: Joint Separation and Classification of Mixed Sources Based on Multichannel Variational Autoencoder with Auxiliary Classifier," ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2019, pp. 546-550, doi: 10.1109/ICASSP.2019.8682623.
  2. Hirokazu Kameoka, Li Li, Shota Inoue, Shoji Makino Semi-blind source separation with multichannel variational autoencoder

405 Co-Separating Sounds of Visual Objects

הפרדת צלילי אובייקטים ויזואליים בווידאו

שם המנחה: Mordehay Moradi
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Multi-modal perception is important to capture the richness of real-world sensory data for objects, scenes, and events. The sounds made by objects, whether actively generated or incidentally emitted, offer valuable signals about their physical properties and spatial locations—the cymbals crash on stage, the bird tweets up in the tree, the truck revs down the block, the silverware clinks in the drawer. Objects often generate sounds while coexisting or interacting with other surrounding objects. Thus, rather than observe them in isolation, we hear them intertwined with sounds coming from other sources. Likewise, a realistic video records the various objects with a single audio channel that mixes all their acoustic frequencies together. Automatically separating the sounds of each object in a video is of great practical interest, with applications including audio denoising, audio-visual video indexing, instrument equalization, audio event remixing, and dialog following.

מטרת הפרויקט:

This project introduces a co-separation training paradigm that permits learning object-level sounds from unlabeled multi-source videos.

תכולת הפרויקט:

  1. Watch the lectures in youtube - Stanford University CS231n, Spring 2017
  2. Read the paper
  3. Download the dataset
  4. Build the model
  5. Train the model
  6. Expect to satisfactory results :))


The project will be implemented in Pytorch

קורסי קדם:

Deep Learning

דרישות נוספות:

Knowledge of Python

מקורות:

R. Gao and K. Grauman, "Co-Separating Sounds of Visual Objects," 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 3878-3887, doi: 10.1109/ICCV.2019.00398. Link to the paper - https://arxiv.org/abs/1904.07750
Other resureces will be given later

406 Speech Activity Detection from EEG using neural networks

איתור פעילות דיבור בעזרת גלי EEG באמצעות רשתות נוירונים

שם המנחה: רועי גואטא
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

ממשקי מוח – מכונה, תחום בו אותות מהמוח האנושי עוברים למחשב לצורך עיבוד, ניתוח ולמידה הינו תחום אשר מתפתח מאוד בשנים האחרונות, בעיקר בשל ההתפתחויות הרבות בתחומי ההנדסה ומדעי המוח. חלק גדול מממשקים אלו מבוססים על EEG. EEG הינה שיטת סריקה לא פולשנית אשר מבצעת רישום של פעילות חשמלית במוח האדם.

באלגוריתמים רבים לעיבוד דיבור, הצורך באיתור זמנים בהם ישנו דובר פעיל ובהם אין דובר פעיל משמעותי מאוד. נושא זה נחקר רבות, ושיטות רבות הוצעו על מנת לבצע איתור שכזה, שיטות אלו מבוססות לרוב על אותות הדיבור עצמם, אולם שיטות אלו היו בעלות חסרונות ומגבלות, כגון בסביבות רועשות ובמרחקים יחסית גדולים בין המיקרופונים לבין הדובר.

יישום רשתות נוירונים מבוססות על גלי המוח המתקבלים מה-EEG עבור איתור זמנים בהם הדובר פעיל ואינו פעיל עשוי לפתור את הבעיה הזו. הוכח כי בגלי המוח המתקבלים מה-EEG יש מידע האם האדם ממנו נמדדו הגלים הללו שומע דובר או רעש בלבד, ובפרויקט זה תיבנה ותאומן רשת נוירונים אשר תפקידה לקבל את גלי המוח הללו ולהחליט האם ישנו דובר פעיל או לא בכל פרק זמן.

מטרת הפרויקט:

למידה, בנייה, אימון ובחינה של רשת נוירונים אשר תקבל גלים אלקטרו-מגנטים מהמוח (EEG) ותחליט עבור כל פרק זמן, האם יש דובר במערכת או לא.

תכולת הפרויקט:

  1. למידה מעמיקה של נושאי הרקע בתחום עיבוד אותות, מדעי המוח, למידת מכונה ולמידה עמוקה.
  2. עיבוד וסינון של גלי ה-EEG לצורה המתאימה לרשת הנוירונים.
  3. הכירות, תכנון ובנייה של רשת הנוירונים.
  4. מציאת תצורה אופטימלית לרשת הנוירונים וניתוח תוצאותיה.

קורסי קדם:

  • עיבוד ספרתי 2
  • למידה עמוקה

(כולם במקביל, במהלך שנה ד')

דרישות נוספות:

  • קורס למידת מכונה
  • תכנות ב-python – יתרון.

מקורות:

M. Koct´urov´a and J. Juh´ar, "Speech Activity Detection from EEG using a feed-forward neural network," 2019 10th IEEE International Conference on Cognitive Infocommunications (CogInfoCom), 2019, pp. 147-152, doi: 10.1109/CogInfoCom47531.2019.9089965.

 

407 Online speech source separation and counting using deep neural networks

הפרדת וספירת דוברים בזמן אמת באמצעות רשתות למידה עמוקה

שם המנחה: מר ליאור פרנקל
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Automatic meeting analysis comprises the tasks of speaker counting, speaker diarization, and the separation of overlapped speech, followed by automatic speech recognition. This all has to be carried out on arbitrarily long sessions and, ideally, in an online or block-online manner. While significant progress has been made on individual tasks, this work presents an all-neural approach to simultaneous speaker counting, diarization and source separation. The NN-based estimator operates in a block-online fashion and tracks speakers even if they remain silent for a number of time blocks, thus learning a stable output order for the separated sources. The neural network is recurrent over time as well as over the number of sources. The simulation experiments show that state of the art separation performance is achieved, while at the same time delivering good diarization and source counting results. It even generalizes well to an unseen large number of blocks.

מטרת הפרויקט:

בפרוייקט זה נממש רשת למידה עמוקה מסוג BiLSTM שתקבל הקלטות של מספר דוברים בזמן אמת, תזהה את מס' הדוברים ותפריד ביניהם.

תכולת הפרויקט:

  1. בניית מודל BiLSTM באמצעות הפלטפורמה של PyTorch והתאמתו למשימת ההפרדה וזיהוי מס' הדוברים.
  2. יצירת data מתאים למשימה, אימון המודל ובדיקת ביצועים.
  3. האלגוריתם יבחן על מערך מיקרופונים , כגון : https://www.eng.biu.ac.il/~pinit/r1/

קורסי קדם:

  • DSP1
  • DSP2
  • אותות אקראיים ורעש.
  • SSP1
  • מבוא ללמידת מכונה.

דרישות נוספות:

  • קורס למידה עמוקה (יתרון)

מקורות:

T. v. Neumann, K. Kinoshita, M. Delcroix, S. Araki, T. Nakatani and R. Haeb-Umbach, "All-neural Online Source Separation, Counting, and Diarization for Meeting Analysis," ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2019, pp. 91-95, doi: 10.1109/ICASSP.2019.8682572.
https://arxiv.org/pdf/1902.07881.pdf

408 Audio-Visual Scene Analysis with Self-Supervised Multisensory Features

ניתוח סצנות אודיו-וידאו בגישת self-supervised-learning

שם המנחה: רננה אופוצ'ינסקי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

הפרויקט משתייך לעולם של למידה עמוקה ועיבוד אותות. כהשראה מהעיבוד הנעשה באופן טבעי במוח המורכב משילוב של מודלים רב חושיים, ענף מרכזי ומתפתח בלמידה עמוקה מנסה לשלב מידע ממודלים שונים על מנת לבצע פעולת למידה משותפת.

מטרת הפרויקט:

בפרויקט זה יבנו הסטודנטים רשת המשלבת את המודלים ללמידה משותפת. הרשת תנתח את הסצנות בהסתמך על מידע שאינו מתויג, אלא בשיטה של תיוג עצמי. לרשת ישנן מספר משימות- להצליח לאכן את מיקום הדובר, לאפשר הפרדה של דוברים וכן לזהות פעולות מתוך המידע.

תכולת הפרויקט:

עבודה וארגן בסיס נתונים גדול לצורך מערכת לומדת. הסטודנטים ילמדו, יתכננו ויממשו רשת נוירונים עמוקה. יבחנו מספר ארכיטקטורות אפשריות ואת היתרון של כל אחת מהן.

קורסי קדם:

  • עיבוד ספרתי 2
  • למידה עמוקה

(כולם במקביל, במהלך שנה ד')

דרישות נוספות:

  • קורס למידת מכונה
  • תכנות בpython – יתרון.

מקורות:

Andrew Owens,  Alexei A. Efros (2018) Audio-Visual Scene Analysis with Self-Supervised Multisensory Features. In: Ferrari V., Hebert M., Sminchisescu C., Weiss Y. (eds) Computer Vision – ECCV 2018. ECCV 2018. Lecture Notes in Computer Science, vol 11210.

 

409 Deep audio-visual modal-based sound-source localization and tracking

איכון ועקיבה בהתבסס על מודל אודיו-ויזואלי בשיטות למידה עמוקה

שם המנחה: רננה אופוצ'ינסקי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בשנים האחרונות תחום הלמידה העמוקה התפתח והתקדם מאוד ובפרט הושגו תוצאות מרשימות בתחום הלוקליזציה, איכון דובר, ע"י רשתות נוירונים. איכון דובר היא משימה מסובכת במיוחד בתנאי הדהוד. לאחרונה ישנה התעניינות גוברת בשיטות איכון מבוססות למידה. בגישות אלו, המאפיינים האקוסטיים מחולצים מתוך סיגנל הדיבור בזמן ומשמשים כקלט למודל שממפה אותם למיקום שלהם בהתאמה. רוב השיטות מבוססות הלמידה דורשות סטים גדולים של מידע מתויג, הקלטות ממיקום ידוע, המאפשרות את תהליך הלמידה. בפרויקט נרצה לפתח שיטת איכון ועקיבה אחר דובר בחדר ידוע תוך הנחות מציאותיות על קיום data מתויג חלקית. בנוסף לעיבוד השמע, נממש מערכת בקרה מבוססת מידע ויזואלי מתוך הסצנה.

מטרת הפרויקט:

בפרויקט הסטודנטים יממשו אלגוריתם המאפשר איכון של דובר ועקיבה תוך שימוש בכלים מתקדמים ועדכניים בעולם הלמידה. הסטודנטים ילמדו ויעשירו את הידע שלהם בתחום הלמידה העמוקה בכלל ובפרט בשיטות בתוך תחום זה שמתבססות רק באופן חלקי על דוגמאות מתויגות ועל אוסף גדול של דוגמאות שאינן מתויגות -דירוג בעזרת רשתות סיאמיות.

תכולת הפרויקט:

במסגרת פרויקט זה הסטודנטים יחשפו לעולם עיבוד אותות הדיבור ולשיטות איכון ועקיבה , למידה עמוקה ובפרט לשיטות למידה semi/weakly-supervised תוך שילוב והתייחסות למידע אקוסטי וויזואלי.

קורסי קדם:

  • עיבוד ספרתי 2
  • למידה עמוקה

(כולם במקביל, במהלך שנה ד')

דרישות נוספות:

  • קורס למידת מכונה
  • תכנות בpython – יתרון.

מקורות:

Opochinsky, Renana, Bracha Laufer-Goldshtein, Sharon Gannot, and Gal Chechik. "Deep ranking-based sound source localization." In 2019 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), pp. 283-287. IEEE, 2019.

410 Embedded beamformer using NN for parameters estimation

מימוש חומרתי של מסנן מרחבי ושיערוכו ע"י רשת נוירונים

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

למידה עמוקה מהווה בשנים האחרונות כלי חשוב מאוד ביכולת עיבוד אותות בכלל ודיבור בפרט. לצורך שיערוך פרמטרים של מסנן מרחבי אנו נשתמש בשיטה זו ולאחר מכן יכולות האלגוריתם יבדקו ע"י רכיב חומרתי

מטרת הפרויקט:

מטרת הפרויקט הינה בנית רשת לצורך שיערוך פרמטרי המסנן ומימושו ברכיב חומרתי

תכולת הפרויקט:

נלמד רשת אשר תדע לסווג כל tf-bin במישור הSTFT לדיבור/רעש ועל פי זה נדע לשערך את הפרמטרים הרלוונטיים. בחלק הראשון על הסטודנטים לבנות רשת לשערוך פרמטרי המסנן. בחלק השני עליהם למממש אותו על רכיב חומרתי.

קורסי קדם:

  • למידה עמוקה
  • עיבוד ספרתי של אותות 2

מקורות:

S. E. Chazan, H. Hammer, G. Hazan, J. Goldberger and S. Gannot, "Multi-Microphone Speaker Separation based on Deep DOA Estimation," 2019 27th European Signal Processing Conference (EUSIPCO), 2019, pp. 1-5, doi: 10.23919/EUSIPCO.2019.8903121.

411 Self-supervised Moving Vehicle Tracking with Stereo Sound

מערכת עקיבה אחר מכונית בעזרת סטריאו-אודיו באמצעות self-supervised learning

שם המנחה: יוחאי ימיני
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

מערכות עקיבה מבוססת וידאו נותנות ביצועים מרשימים בתנאי תאורה טובים, אך אינן מצליחות להתמודד עם מצבים כגון סצנות המצולמות בלילה. מערכת עקיבה מבוססת אודיו חסינה בפני שינוי תנאי תאורה, אך אינה יודעת לקשר מיקום פיזי למיקום בפריימים של מצלמת העקיבה

מטרת הפרויקט:

פיתוח מערכת עקיבה מבוססת אודיו הלומדת את הקישור למיקום בפריימים ממערכת מבוססת וידאו בשיטת teacher-student.

תכולת הפרויקט:

  1. בניית מערכת עקיבה מבוססת וידאו
  2. בניית מערכת עקיבה מבוססת סטריאו-אודיו באמצעות למידה ממערכת הוידאו.

קורסי קדם:

  • DSP2
  • מבוא ללמידת מכונה

דרישות נוספות:

  • קורס למידה עמוקה

מקורות:

Self-supervised Moving Vehicle Tracking with Stereo Sound by Chuang Gan, Hang Zhao, Peihao Chen, David Cox, Antonio Torralba

412 Direction of arrival estimation using deep learning for unknown array structure

זיהוי כיוון דובר ע"י למידה עמוקה עבור מערכי חיישנים בלתי ידועים

שם המנחה: ד"ר עופר שוורץ
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Direction of arrival (DOA) estimation is an important topic in microphone array processing. Conventional methods work well in relatively clean conditions but suffer from noise and reverberation distortions. Recently, deep learning-based methods show the robustness to noise and reverberation. However, the performance is degraded rapidly or even model cannot work when microphone array structure changes. So it has to retrain the model with new data, which is a huge work. In this paper, we will try a supervised learning algorithm for DOA estimation combining convolutional neural network (CNN) and long short term memory (LSTM). Due to a special input feature design, the proposed method can adapt to a new microphone array conveniently only use a very small amount of data. The input feature will include analytical and traditional algorithms for DOA estimation such as SRP-PHAT, SRP-HT, etc. 

מטרת הפרויקט:

בפרויקט נממש מערכת לזיהוי כיוון של דובר ע"י למידה עמוקה. המערכת אמורה להתאמן על מערך בעל מבנה כללי כלשהו כך שיתקבלו תוצאות טובות גם עבור מערך בעל מבנה בלתי צפוי. המערכת תיבדק בתנאים מסובכים של רעש כיווני והדהוד בהקלטות שונות.

תכולת הפרויקט:

בפרויקט זה נבצע:

  1. סקירה של שיטות סטטיסטיות שונות לשיערוך DOA
  2. עריכת הקלטות אמת של דובר בתנאי רעש והדהוד שונים.
  3. מימוש ב MATLAB \Python של מערכת למידה עמוקה הכוללת
    1. אימון על בסיס נתונים רחב המושתת על מערך חיישנים כללי.
    2. בדיקת האלגוריתם על מערכים בעלי מבנה בלתי צפוי.
  4. בדיקה של השיטה לעומת שיטות קיימות ע"י מדדי איכות זיהוי אובייקטיביים

קורסי קדם:

DSP1 , DSP2

מקורות:

  1. Online Direction of Arrival Estimation Based on Deep Learning
  2. C. Knapp and G. Carter, "The generalized correlation method for estimation of time delay," in IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 24, no. 4, pp. 320-327, August 1976, doi: 10.1109/TASSP.1976.1162830.

413 Audio source localization from a noisy video

זיהוי מקור אודיו מתוך וידאו רועש

שם המנחה: ד"ר אופיר לינדנבאום
אחראי/ת אקדמי/ת: ד"ר אופיר לינדנבאום

הרקע לפרויקט:

Audio-Visual Sound Source Localization is an important task that has several applications, for instance, in robotics. The problem is especially challenging in the noisy regime, i.e., an additional audio signal whose source does not appear in the video. We will first convert the audio to a time-frequency representation using spectrograms. Then, we will utilize a recently proposed approach for sparse canonical correlation analysis (CCA). Canonical Correlation Analysis (CCA) models are powerful for studying the associations between two sets of variables. By learning a sparse subset of correlated input variables, we will identify the most correlated pixels with the audio signal.

מטרת הפרויקט:

בפרוייקט נממש אלגוריתם לזיהו מקור האודיו מתוך סרט וידאו רועש, לדוגמא זיהוי דובר, או זיהו כלי נגינה בסביבה רועשת. המטרה היא לזהות את הפיקסלים אשר מתארים את סיגנל האודיו ובמקביל לאתר את תחום התדרים אשר מתאר את הסיגנל שנוצר מהאוביקט שמופיע בתמונות. האלגוריתם יבדק על מגוון סרטים עם דוברים בנוכחות רעש.

תכולת הפרויקט:

  1. סקירת ספרות.
  2. מימוש קוד לחילוץ מאפיינים.
  3. התאמת Sparse-CCA למאפיינים הנתונים.
  4. בדיקת השיטה לעומת שיטות קיימות.

קורסי קדם:

  • עיבוד אותות
  • מבוא ללמידת מכונה- יכול להיות במקביל.

מקורות:

  1. ℓ0-based Sparse Canonical Correlation Analysis: https://arxiv.org/abs/2010.05620
  2. D. Dov, R. Talmon and I. Cohen, "Sequential Audio-Visual Correspondence With Alternating Diffusion Kernels," in IEEE Transactions on Signal Processing, vol. 66, no. 12, pp. 3100-3111, 15 June15, 2018, doi: 10.1109/TSP.2018.2802445. https://ieeexplore.ieee.org/abstract/document/8281539

414 VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency

הפרדת דוברים תוך שימוש בוידאו-אודיו

שם המנחה: מרדכי מוראדי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Human speech is rarely observed in a vacuum. For examples: Amidst the noisy din of a restaurant, we concentrate to parse the words of our dining partner; watching a heated presidential debate, we disentangle the words of the candidates as they talk over one another; on a Zoom call we listen to a colleague while our children chatter and play a few yards away.

resented with such corrupted and entangled sounds, the human perceptual system draws heavily on visual information to reduce ambiguities in the audio and modulate attention on an active speaker in a busy environment. Automating this process of speech separation has many valuable applications, including assistive technology for the hearing impaired, improvement of Automatic Speech Recognition(ASR) systems, or better transcription of spoken content in noisy in-the-wild Internet videos (Speech to Text).

מטרת הפרויקט:

This project proposes a multi-task learning framework to jointly learn audio-visual speech separation and cross-modal face-voice embeddings. This approach leverages the complementary cues between lip movements and cross-modal speaker embeddings for speech separation. The embeddings serve as a prior for the voice characteristics that enhances speech separation.

תכולת הפרויקט:

  1. Watch the lectures in youtube - Stanford University CS231n, Spring 2017
  2. Read the paper
  3. Download the dataset
  4. Build the model
  5. Train the model
  6. Expect to satisfactory results :))

The project will be implemented in Pytorch

קורסי קדם:

  • Deep learning

דרישות נוספות:

  • Knowledge of Python

מקורות:

  1. We’ll implement the following paper: Gao, Ruohan, and Kristen Grauman. "Visualvoice: Audio-visual speech separation with cross-modal consistency." Link for the paper: https://arxiv.org/pdf/2101.03149
  2. Other resources will be given later

415 Speech impairment

זיהוי לקויות דיבור באמצעות למידת מכונה.

שם המנחה: רועי גואטא , פיני טנדייטניק
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

לקות דיבור הינה בעיה אשר מתבטאת בחוסר היכולת להגות בצורה נכונה הברות מסוימות או אותיות מסוימות. בעיה זו נפוצה בקרב ילדים ודורשת טיפול אצל קלינאית תקשורת. לרוב, זיהוי לקות הדיבור נעשה באמצעות שמיעה סובייקטיבית של סביבת האדם הסובל ממנה וקשה להגדירה באופן אובייקטיבי.

בשנים האחרונות חלה עלייה מתמדת בשימוש באלגוריתמי למידת מכונה ולמידה עמוקה בתחומים של שפה ודיבור. אלגוריתמים אלו מסייעים לבצע בצורה חכמה ויעילה מגוון רב של פעולות בתחומים אלו כגון סינון והפרדת דוברים, זיהוי דיבור וממשקי דיבור-טקסט.

הצורך בזיהוי אובייקטיבי ואוטומטי של הגייה לקויה ונכונה של הברות קיים אצל ילדים בעלי לקות דיבור אשר נדרשים להתאמן גם מחוץ לפגישות עם קלינאית התקשורת. את הצורך הזה יכול למלא אלגוריתם מבוסס למידה מכונה ו/או למידה עמוקה, אשר יוכל לזהות בהסתברות גבוהה דיבור נכון ולקוי ולהתריע על כך למשתמש.

מטרת הפרויקט:

בנייה, אימון, בחינה וניתוח אלגוריתם מבוסס למידת מכונה/למידה עמוקה לזיהוי לקויות דיבור.

תכולת הפרויקט:

  1. למידה מעמיקה של נושאי הרקע בתחום עיבוד אותות, למידת מכונה ולמידה עמוקה.
  2. למידה של נושא לקויות הדיבור בכלל ובהקשר מתמטי בפרט, ושל מאמרים על מחקרים שנעשו בנושא.
  3. הכירות, תכנון ובנייה של אלגוריתם למידת מכונה/למידה עמוקה לזיהוי לקויות דיבור.
  4. מציאת תצורה אופטימלית לאלגוריתם וניתוח ביצועיו.

קורסי קדם:

  • למידה עמוקה (במהלך שנה ד')

דרישות נוספות:

  • קורס למידת מכונה
  • תכנות ב-python – יתרון.

מקורות:

  1. Detection of Lateral Sigmatism using Support Vector Machine

416 White-box methods for data-driven-based Nearfield Acoustic Holography

מידול הולוגרפי של שדה אקוסטי קרוב

שם המנחה: מר מרקו אוליביירי , מורדכי מוראדי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Kirchhoff-Helmholtz-based Convolutional Neural Network (KHCNN) is a novel methodology for Nearfield Acoustic Holography (NAH). The proposed technique is based on Convolutional Neural Networks, with an autoencoder architecture, to reconstruct the pressure and velocity fields on the surface of the vibrating structure using the sampled pressure sound field on the holographic plane as input. The loss function used for training the network is based on a combination of two components. The first component is the error in the reconstructed velocity. The second component is the error between the sound pressure on the holographic plane and its estimate obtained from forward propagating the pressure and velocity fields on the structure through the Kirchhoff-Helmholtz integral, thus bringing some knowledge about the physics of the process under study into the estimation algorithm.
The name KHCNN came from the explicit presence of the Kirchhoff-Helmholtz integral in the loss function.

KHCNN has been tested on two large datasets of rectangular plates and violin shells. Results show that it attains a very good accuracy, with a gain in the NMSE of the estimated velocity field that can top 10 dB with respect to state-of-the-art techniques. The same trend is observed if the Normalized Cross Correlation is used as a metric

מטרת הפרויקט:

The objective of this project is to reveal the features of the network model. After a first analysis of the white-box methods present in the Deep Learning literature we apply these techniques to the KHCNN model

תכולת הפרויקט:

בפרויקט הסטודנטים יצטרכו לבנות מודל הולוגרפי של שדה קרוב בעזרת טכניקות של למידה עמוקה

קורסי קדם:

קורסי מסלול בעיבוד אותות

מקורות:

  1. Olivieri, Marco, et al. "A Physics-Informed Neural Network Approach for Nearfield Acoustic Holography." Sensors 21.23 (2021): 7834.
  2. Olivieri, Marco. "An approach for near-field acoustic holography based on convolutional autoencoders." (2020), Master Thesis

פרויקטים נוספים מומלצים

107 Spectral neural dynamics analysis of electrophysiological information

ניתוח דינמיקה עצבית ספקטרלית של נתונים אלקטרופיזיולוגיים

שם המנחה: ד״ר יערה ארז
אחראי/ת אקדמי/ת: ד״ר יערה ארז

הרקע לפרויקט:

Precision neuroimaging is a developing approach that focuses on understanding brain activity and functional networks at the individual person level. This approach is facilitated by data-intensive information from different imaging modalities and has important implications for developing imaging-based personalized medicine practices.

The research in the lab focuses on integrating different neuroimaging techniques in order to understand how brain structure and function relate to one another in individuals. One challenge is developing multi-dimensional analysis tools for the data from the different techniques so they can be later combined.

Electrocorticography (ECoG) is a promising technique in which brain activity is recorded directly from the surface of the human brain. This technique is emerging as a useful clinical tool for mapping brain function as it provides unique data with both high temporal and spatial resolution that could not have been achieved before.

We have previously showed that ECoG data in patients with brain tumors collected during awake brain surgery contains useful information related to functional networks. Yet, there is a lack in computational tools for the analysis of this type of data and its integration with information from other neuroimaging modalities.

מטרת הפרויקט:

The aim of this project is to develop analysis tools for spectral dynamics of ECoG data.
The project will include constructing statistical and machine-learning based models to better understand the functional role of ECoG signals.

תכולת הפרויקט:

We will develop dynamics analysis including statistical modelling and visualization of the results. This will include: writing code, reading literature, data analysis, model validation by simulations.

קורסי קדם:

- Software / programming

דרישות נוספות:

  • עיבוד אותות
  • נוירופיזיולוגיה של מערכות

מקורות:

  1. Erez Y., Assem M., Coelho P., Romero-Garcia R., Owen M., McDonald A., Woodberry E., Morris R.C., Price S.J., Suckling J., Duncan J., Hart M.G. & Santarius T. (2021). Intraoperative mapping of executive function using electrocorticography for patients with low grade gliomas. Acta Neurochirurgica 163(5), 1299-1309. https://doi.org/10.1007/s00701-020-04646-6
  2. Crone N.E., Sinai A. & Korzeniewska A. (2006). High-frequency gamma oscillations and human brain mapping with electrocorticography. Progress in Brain Research 159, 275–295. https://doi.org/10.1016/S0079-6123(06)59019-3

208 Chip Identification Circuit (Fingerprint) using Physical Unclonable Functions (PUF)

מעגל זיהוי אנלוגי המבוסס על PUF

שם המנחה: Yizhak Shifman
אחראי/ת אקדמי/ת: פרופ' יוסי שור

הרקע לפרויקט:

In the modern era, there is a huge amount of secured data transfer involving credit cards, autonomous vehicles, IOT, etc. It is essential for data centers to be able to identify users accurately and securely. A new category of circuit called Physical Uncloneable Functions (PUF) has been utilized to provide secret encryption keys and authentication. The PUFs use random transistor mismatch to generate digital codes, which are unknown even to the device manufacturer. The problem with PUF are that they also have many flaky bits which can change due to noise effects, requiring the use of complex error correction algorithms.

מטרת הפרויקט:

In this project, several novel techniques will be utilized to improve the reliability and robustness of the basic PUF cell. These techniques involve a combination of analog, digital and device physics concepts. During the course of this work, you will design a novel PUF array as well as its readout circuitry, all of which will be implemented in a Si IC. This is an original idea whose successful implementation can result in an academic publication.

תכולת הפרויקט:

In this project the student will design a PUF using digital and analog techniques. The schematics will be prepared in Virtuoso and simulated. Layout and post-layout simulations will be conducted to verify the circuit performance. This project will include a tapeout and Silicon measurements. The successful conclusion of this project may lead to an academic publication. Since there are several topologies here, there can be more than one project available.

קורסי קדם:

  • 768330301 אלקטרוניקה לינארית - חובה
  • 768332501 מעבדה למעגלים אנלוגיים – חובה
  • 8330801 מעגלים אלקטרוניים ספרתיים – חובה
  • 83315 מעבדה מעגלים אלקטרוניים ספרתיים – חובה
  • 768361101 מעגלים משולבים אנלוגיים – מומלץ

מקורות:

  1. G. Schrijen, “Scalable Security for IoT” in ISSE 2015, Berlin, Germany.
  2. C. Herder, Y. Meng-Day, F. Koushanfar, S. Devadas, "Physical Unclonable Functions and Applications: A Tutorial", Proceedings of the IEEE, vol. 102, no. 8, pp. 1126 – 1141, (2014

303 Quantum Illumination - Towards Quantum Radar

הארה קוונטית - לעבר מכ"ם קוונטי

שם המנחה: אליהו כהן
אחראי/ת אקדמי/ת: ד"ר אליהו כהן

הרקע לפרויקט:

אנו מפתחים סנסורים חדשים שמבוססים על עקרונות תורת הקוונטים. תכליתו של אחד הסנסורים האלה היא לגלות מטרות עם החזרה מאוד חלשה תוך שימוש בפוטונים שזורים. המטרה העיקרית של המחקר הזה היא בחינת אפיקים חדשים למימוש מכ"מים עם רגישות מאוד גבוהה למטרות, אבל רגישות מאוד נמוכה ללוחמה אלקטרונית.

מטרת הפרויקט:

ההישג המצופה הוא ניתוח תיאורטי (אנליטי ונומרי) של סנסורים מהסוג שהוזכר למעלה. ניתוח שיוכל להוביל לאחר מכן לניסויים מוצלחים והדגמות מעבדתיות.

תכולת הפרויקט:

המטלה העיקרית היא להוסיף אלמנט של רעש תרמי לניתוח תיאורטי קיים בכדי להבין את השפעתו (ניתוח אנליטי באמצעות מתמטיקה וכמו כן ניתוח נומרי באמצעות מטלב). כמו כן, ייבחן מדד בשם quantum discord במטרה לכמת את ביצועיו הצפויים של הסנסור.

קורסי קדם:

קדם - מכניקה קוונטית שימושית. במקביל - חישוב קוונטי.

מקורות:

  1. Peled, B.Y., Te’eni, A., Carmi, A. et al. Correlation minor norms, entanglement detection and discordSci Rep 11, 2849 (2021). https://doi.org/10.1038/s41598-021-82303-3
  2. Bello L., Michael Y., Rosenbluh M., Cohen E., Pe'er A., "Complex two-mode quadratures - a unified formalism for continuous-variable quantum optics", under review in OpticaarXiv:2011.08099.

306 What are the ultimate bounds on time and energy measurements?

מהם החסמים המוחלטים על מדידות זמן ואנרגיה

שם המנחה: ישמעאל דה-פאיווה
אחראי/ת אקדמי/ת: ד"ר אליהו כהן

הרקע לפרויקט:

תורת הקוונטים מציבה חסמים הדוקים על מדידות של משתנים פיזיקליים מסויימים, בין השאר על מדידות מדוייקות של זמן ואנרגיה. אנו שואפים למצוא חסמים חדשים ושיטות מדידה חדשות שיאפשרו לשפר את החיישנים הקיימים.

מטרת הפרויקט:

ההישג המצופה הוא מציאת חסם הדוק על מדידות זמן ואנרגיה תוך שימוש בשעונים קוונטיים. בשאיפה, נוכל גם למצוא כיצד החסמים האלו משתנים תחת תנאים של רעש ואיבודים, כמו גם שדות כבידתיים.

תכולת הפרויקט:

חישובים אנליטיים שמבוססים על חומר שלמדנו במכניקה קוונטית שימושית עם התאמות לבעיה הקיימת.

קורסי קדם:

קדם - מכניקה קוונטית שימושית. במקביל - חישוב קוונטי.

מקורות:

  1.  Paiva, I.‪ L.‪, Nowakowski, M.‪, & Cohen, E.‪ (2021)‪.‪ Nonlocality in quantum time via modular operators.‪ 
  2.  Castro-Ruiz, E., Giacomini, F., Belenchia, A. et al. Quantum clocks and the temporal localisability of events in the presence of gravitating quantum systemsNat Commun 11, 2672 (2020). https://doi.org/10.1038/s41467-020-16013-1

310 Optical fiber sensors of ionizing radiation

חיישנים מבוססי סיבים אופטיים למדידת קרינה מייננת

שם המנחה: Prof. Avi Zadok
אחראי/ת אקדמי/ת: פרופ' אבי צדוק

הרקע לפרויקט:

מדידות קרינה מייננת הינן קריטיות עבור פעולתם התקינה של כורים גרעיניים ומתקנים אחרים לאנרגיות גבוהות. סיבים אופטיים סטנדרטיים הינם חיישנים יוצאים מהכלל: הם מאפשרים מדידות על-פני עשרות ק"מ, ניתנים לשילוב נוח בתוך תשתיות, חסינים בפני הפרעות אלקטרו-מגנטיות, וניתנים לשימוש גם באיזורים מסוכנים וללא אספקת אנרגיה. לבסוף, הסיבים מאפשרים מדידות מפולגות מבחינה מרחבית, אשר בהן כל מקטע של הסיב משמש כחיישן נפרד מתוך רשת. מדידות קרינה באמצעות סיבים אופטיים נחקרות ומיושמות מזה עשרות שנים. שיטות המדידה נסמכות רובן ככולן על השפעת הקרינה על הזכוכית ממנה עשוי הסיב.

קבוצת המחקר של פרופ' אבי צדוק מפתחת חיישנים סיב-אופטיים מתקדמים אשר משלבים בין התקדמות האור בסיב לבין גלים אולטרה-סוניים בתדר גבוה. מעבר האור בסיב הוא זה שמעורר את גלי הקול, וגם קורא אותם בחזרה. החיישנים מאפשרים לנטר את תכונותיהם של חומרים הבאים במגע עם הסיב מחוצה לו, ובפרט את תכונות המעטה הפולימרי המגן עליו. מעטה זה, בתורו, מושפע מקרינה מייננת. על סמך עקרון זה, קבוצת המחקר הדגימה יכולת ראשונה מסוגה למדוד קרינה מייננת באמצעות השפעותיה על המעטה הפלסטי. הפרוייקט נועד לשפר את רגישות השיטה, לרמה של שני סדרי גודל מעבר לרגישות של שיטות מסורתיות, ולממש אבחנה מרחבית בין מקטעים באורך סנטימטרים בודדים

מטרת הפרויקט:

מטרת הפרויקט הינה מדידות של השפעת קרינה מייננת על סיבים אופטיים סטנדרטיים ברגישות גבוהה ותוך אבחנה מרחבית גבוהה. יודגש כי הקרנת הסיבים נעשית במרכז למחקר גרעיני שורק, והסיבים מגיעים לבדיקה באוניברסיטת בר-אילן רק לאחר שאינם מקרינים בעצמם ואין בהם כל סכנה. העוסקים בנושא אינם נחשפים לקרינה או לכל סיכון אחר. לצד זאת, השפעת הקרינה על תכונות הסיב עצמו נותרת קבועה.

תכולת הפרויקט:

לימוד התקדמות האור בסיבים אופטיים. לימוד התכונות האלסטיות והתקדמות גלי קול אולטרה-סוניים בסיבים אופטיים. לימוד הנושא של אינטראקציה ויחסי גומלין בין גלי אור וקול. חישובים אנליטיים ונומריים של גלי אור וקול בסיבים והשפעות הגומלין ביניהם. הקמת מערך מדידה מעבדתי לאיפיון מקטעי סיב. מדידת מספר מקטעים שנחשפו לרמות קרינה שונות. ניתוח התוצאות. הערכת מנגנוני רעש ומגבלות. הערכת רגישות השיטה וכושר האבחנה המרחבית. כתיבת דו"ח מסכם.

קורסי קדם:

תקשורת אופטית, שדות אלקטרומגנטיים, נושאים מתקדמים בתקשורת אופטית

מקורות:

עבודת הדוקטורט של ד"ר יוסף לונדון, בוגר הקבוצה. זמינה להורדה כאן:
http://avizadoklab.com/publications/

313 Incorporation of AI and ML algorithms in remote biomedical sensing

שילוב יכולות של בינה מלאכותית ואלגורימי לימוד מכונה בחישה ביו רפואית

שם המנחה: זאב קלאוזנר
אחראי/ת אקדמי/ת: פרופ' זאב זלבסקי

הרקע לפרויקט:

מדובר על טכנולוגיית חישה חדשנית המבוססת על ניתוח שינויים זמניים-מרחביים של תבנית פיזור אור לייזר מרקמה ביולוגית נבחנת ועל בסיס זה חישה של פרמטרים ביו רפואיים מרחוק

מטרת הפרויקט:

לשפר דיוק וחזרתיות של המדידה עי שילוב אלגוריתמי למידת מכונה חדשניים

תכולת הפרויקט:

איסוף תוצאות, פיתוח אלגוריתם במטלב והפעלתו ע הנתונים שיאספו והפקת מסקנות חישה

קורסי קדם:

קורסי למידת מכונה

דרישות נוספות:

מבוא לאופטיקה

מקורות:

Zeev Kalyuzhner, Sergey Agdarov, Aviya Bennett, Yafim Beiderman, and Zeev Zalevsky, "Remote photonic sensing of blood oxygen saturation via tracking of anomalies in micro-saccades patterns," Opt. Express 29, 3386-3394 (2021)

316 Incorporation of fiber-based water leakage detector

שילוב סיבים אופטיים לניטור נזילות מים מצינורות

שם המנחה: יפים ביידרמן
אחראי/ת אקדמי/ת: פרופ' זאב זלבסקי

הרקע לפרויקט:

פותח סנסור פוטוני מבוסס סיב אופטי מיוחד שהדגים יכולת ראשונה לניטור נזילות של מים מצינור ומדידת שינויי ספיקה. יש רצון להרחיב יכולות אלו למדידה יותר נרחבת של ניטור צינורות מים

מטרת הפרויקט:

הרחבת יכולות חישה פוטוניות עי סיב מיוחד לצורך מדידה יותר נרחבת של ניטור צינורות מים

תכולת הפרויקט:

ביצוע ניסויים במערכת אב הטיפוס הקיימת. איסוף מדידות וניתוחן

קורסי קדם:

מבוא לאופטיקה

דרישות נוספות:

קורסי עיבוד אות

מקורות:

A. Bennett, Ye. Beiderman, S. Agdarov, Ya. Beiderman, R. Hendel, B. Straussman and Z. Zalevsky, “Monitoring of vital bio-signs by analysis of speckle patterns in fabric-integrated multimode optical fiber sensor,” Opt. Exp. 28(14), 20830-20844 (2020).

319 Multimode fiber modes analyzing

ניתוח מודים גבוהים בסבי מולטימוד

שם המנחה: שרה מאיר
אחראי/ת אקדמי/ת: דר' מוטי פרידמן

הרקע לפרויקט:

כל אלומה שמתקדמת בסיבי מולטימוד מתפרקת למודים למודים השונים שמרכיבים אותה ומבצעת ערבוב בין המודים. שימוש בסיבי מולטימוד ושליטה בערבוב בין המודים השונים יכול לאפשר הגדלת רוחב הסרט ברשתות תקשורת פי 100. כאשר המודים השונים מעוררים באמצעות מערכי סיבים הבעיה היא שלצורך השליטה הזו אנו חייבים להבין את התנהגות המודים הלא לינארית. בפרויקט זה נחקור את הדינמיקה הלא לינארית של סיבים

מטרת הפרויקט:

סיבי מולטימוד מכילים מספר מודים גבוה ומאפשרים להעביר מידע רב יותר בסיבים קיימים. אנו מעוניינים לקחת סיבי מולטימוד ולהצליח לנתח את הדינמיקה המודלית בסיבים. איך מודים מסויימים מתקדמים, כמה הם יציבים, והאם ניתן להשתמש בהם להעברת מידע. בפרויקט הזה נשתמש בעיבוד תמונה לצורך מציאת הדינמיקה של המודים השונים הפרויקט הזה יוביל להבנה עמוקה של ההתנהגות הלא לינארית של פולסים בסיבי מולטימוד

תכולת הפרויקט:

תכנות וביצוע ניסויים במעבדה

קורסי קדם:

אופטיקה ולייזרים

מקורות:


  Siegman, A. E. Lasers. Mill Valley: University Science Books, 1986.

320 Simulation and theory of fluorescence mediated by a finite diffuser

סימולציה ותיאוריה של פלואורוסנציה מתווך מפזר סופי

שם המנחה: Gilad Yahav
אחראי/ת אקדמי/ת: פרופ' דרור פיקסלר

הרקע לפרויקט:

שימוש בצבענים פלואורסצנטיים לשם אבחון בעומק רקמה חיה מוגבל בשל כמות צבען נמוכה הנדרשת משיקולי בטיחות, ובשל הפיזור הגבוה ברקמה. השימוש בצבענים בעלי פליטה בתחום האדום ואינפרה אדום משפר את ישימות השיטה, אולם עדיין היעילות האופטית מאוד נמוכה. הבנת השפעות הפיזור על הסיגנל הפלואורסצנטי חשובה מאוד כדי להתגבר על מגבלה זו. לאחרונה נמדדה תופעה של ירידה אקספוננציאלית בעוצמה פלואורסצנטית כפונקציה של עובי הרקמה מעל הצבען. אולם חסר ביטוי אנליטי שיסביר תופעה זו.

מטרת הפרויקט:

בפרויקט זה יפתחו הסטודנטים ביטוי אנליטי לירידת העוצמה הפלואורסצנטית כפונקציה של מקדם הפיזור המופחת ועובי השכבה מעל הצבען של החומר המפזר.

תכולת הפרויקט:

בפרויקט, הסטודנטים יפתחו את משוואת ה RTE המתארת התנהגות פיזור ברקמות, עבור המקרה של צבען פלואורסצנטי בעל תכונות ידועות, תוך התחשבות בעובי התווך ובתכונותיו האופטיות. לאחר פתרון המשוואה, הסטודנטים יכתבו סימולציות MATLAB שמתארות את התווך המפזר ואת מעבר העוצמה הפלואורסצנטית דרכו כפונקציה של עובי הרקמה ותכונותיה.

קורסי קדם:

  • אופטיקה
  • לייזרים


מקורות:

Ankri, Rinat, et al. "Single-photon, time-gated, phasor-based fluorescence lifetime imaging through highly scattering medium." Acs Photonics 7.1 (2019): 68-79.

502 Satellite based localization using communication signals

איכון מלווינים בעזרת אותות תקשורת

שם המנחה: הודיה הלוי
אחראי/ת אקדמי/ת: פרופ' איציק ברגל

הרקע לפרויקט:

מספר לווייני התקשורת הסובבים את כדור הארץ הולך וגדל בקצב מסחרר. לאור זאת, אנו מתקבים למצב שבו איכון על סמך לוייני תקשורת יהיה מדויק יותר מאיכון על סמך לוויני ניווט (כדוגמת GPS). בפרויקט זה נבחן מערכות איכון המתבססות על ת האותות הנשלחים מלוויני תקשורת לצורך איכון מטרות על פני כדוה"א. לצורך כך נצטרך להתחשב בסוגי האותות השונים ובהפרעות ביניהם, בהתחשב באופי המיוחד של משימת האיכון.

מטרת הפרויקט:

בפרויקט נבחן את השימוש בלווייני תקשורת לצורכי איכון, בהתחשב בהפרעות ובאופי האותות השונים, ונחשב את דיוק האיכון עובר אותות תקשורת שונים.

תכולת הפרויקט:

למידת פרוטוקולי התקשורת, וסוגי אותות התקשורת היכולים לשמש לאיכון,
חישוב ביצועים בשימוש בסוגי האותות השונים, בהתחשב בתכונותיהם, וכן חישוב ההשפעה של ההפרעה בין האותות מלוויינים שונים,
הסקת אופן השימוש האופטימלי בלווייני תקשורת לצורכי איכון.

קורסי קדם:

תקשורת ספרתית 1, מערכות פרושות תדר (במקביל לפרויקט)

מקורות:

JJ. Zhao, L. Li and Y. Gong, "Joint Navigation and Synchronization in LEO Dual-Satellite Geolocation Systems," 2017 IEEE 85th Vehicular Technology Conference (VTC Spring), 2017, pp. 1-5, doi: 10.1109/VTCSpring.2017.8108339.

503 Channel prediction for multi-antenna communication using machine learning

חיזוי ערוץ לתקשורת מרובת אנטנות על ידי למידת מכונה

שם המנחה: הודיה הלוי
אחראי/ת אקדמי/ת: פרופ' איציק ברגל

הרקע לפרויקט:

Multi user (MU) MIMO communication allows a transmitter to use multiple antennas and serve multiple users simultaneously in the same time and same frequency. MU-MIMO techniques can bring significant increase in throughput and are considered key technologies in the fifth and sixth generations of cellular communication. Interference between the users is avoided through linear precoding of the transmitted signals from all antennas, but this requires a very accurate knowledge of the channel gain. As there is a time gap between the channel estimation and the transmission precoding, there is a need to predict the channel state for many millisecond ahead.

מטרת הפרויקט:

Implement a good channel prediction mechanism, based on real life measurements and machine learning.

תכולת הפרויקט:

  • Setup a software defined radio to take channel measurement from real Wifi networks.
  • Design a linear predictor that is assisted by a neural network.
  • Use the channel measurements to train the neural network.
  • Test the prediction performance and the resulting improvement in MU-MIMO throughput

The project can be continued to research for MsC.

קורסי קדם:

תקשורת ספרתית 1

מקורות:

Jiang, Wei, and Hans Dieter Schotten. "Deep learning for fading channel prediction." IEEE Open Journal of the Communications Society 1 (2020): 320-332.

802 Reinforcement Learning for Resource Constrained Scheduling

למידה מבוססת חיזוקים לתזמון תחת אילוצי משאבים

שם המנחה: איציק כהן
אחראי/ת אקדמי/ת: דר' איציק כהן

הרקע לפרויקט:

בעיות תזמון רלוונטיות לרוב תחומי חיינו. למשל: תזמון עבודות מחשוב על שרתים עם קיבולת מוגבלת, תזמון אנשים לבצע מספר פרויקטים בארגון או שיבוץ של עובדים לביצוע משמרות.
יש עניין מתמשך ורב בבעיות אלו משום שהן מרכזיות לביצועים העיסקיים של ארגונים וקשות מאוד לפתרון אופטימלי או אפילו יעיל ואפקטיבי. האתגר אף גדול יותר מכיוון שבמציאות בדרך כלל יש אי וודאות על משכי הפעילויות.

פרויקט זה יעסוק בבעיית שיבוץ של עבודות למשאבים מוגבלים כדי לסיים את משימה המורכבת ממספר פעילויות בזמן הקצר ביותר האפשרי. השאיפה היא לשלב שיטות פתרון מעולם למידת מכונה כגון למידה מבוססת חיזוקים לצד שיטות אחרות.

מטרת הפרויקט:

קיימים סטים של בעיות שיבוץ תחת אילוצי משאבים עם הפתרונות הידועים הטובים ביותר עד היום – וליד כל "שיא עולמי" כזה יש את שם המוצאים אותו.

השלב הראשון של הפרויקט יהיה סקירת ספרות שמטרתה להכיר את האלגוריתמים והשיטות שמביאות לפתרונות הטובים ביותר וכמו כן שיטות מעולם למידת המכונה.

בשלב השני, ישוחזרו התוצאות באמצעות כמה מהשיטות שמצאו את התוצאות הטובות ביותר.

בשלב השלישי והעיקרי של הפרויקט יתוכננו אלגוריתמים לפתרון הבעיה וביצועיהם ייבדקו על סט של בעיות ומול הפתרונות הטובים ביותר הידועים.

האתגר הוא לנצח את הפתרונות הטובים ביותר (בטיב הפתרון ובזמן למציאתו).

הציפייה היא לצוות עם רצון להתנסות בפיתוח אלגוריתמים, אופטימיזציה, תכנות ועבודה חישובית.

תכולת הפרויקט:

שלבי הפרויקט יכילו:

  1. סקירת ספרות
  2. שיחזור התוצאות הקודמות הטובות ביותר
  3. תכנון ופיתוח אלגוריתמים ושיטות פתרון ובדיקת ביצועיהן,
  4. כתיבת וסיכום התוצאות

קורסי קדם:

  • הישגים גבוהים בקורסי מתמטיקה / מבני נתונים ואלגוריתמים
  • יכולת תכנות (פייתון / מטלב)

מקורות:

  1. Paraskevopoulos, D. C., Laporte, G., Repoussis, P. P., & Tarantilis, C. D. (2017). Resource constrained routing and scheduling: Review and research prospects. European Journal of Operational Research, 263(3), 737-754.
  2. Habibi, F., Barzinpour, F., & Sadjadi, S. (2018). Resource-constrained project scheduling problem: review of past and recent developments. Journal of project management, 3(2), 55-88.

803 Formal Verification of Neural Networks

פיתוח כלי אימות לרשתות נוירונים

שם המנחה: Avraham Raviv
אחראי/ת אקדמי/ת: פרופ' הלל קוגלר

הרקע לפרויקט:

אימות פורמלי מאפשר שימוש באלגוריתמים ושיטות מתמטיות להוכחת נכונות של מערכות תוכנה וחומרה מורכבות. אחד האתגרים המרכזיים הנוכחיים הוא לתאר פתרונות שהתקבלו בשיטות של למידה ולהוכיח שהם אכן עומדים בדרישות. החשיבות של הוכחת נכונות של מערכת נוירונים נעשית משמעותית לאור ההתקדמות הדרמטית בשיטות ללמוד רשתות אך המגבלות הקיימות בהבנת ההתנהגות של הרשת שנלמדה.

מטרת הפרויקט:

במהלך הפרויקט הסטודנטים ירכשו ידע באימות פורמלי ויישמו אותו באמצעות פיתוח כלי שמאפשר לבצע אימות רשתות קלסיפיקציה (סיווג) שנלמדו בעזרת אלגוריתמים קיימים. יעד משמעותי בפרויקט הוא בניית כלי תוכנה והשתתפות בתחרות Verification of Neural Networks .

תכולת הפרויקט:

פיתוח כלי שמאפשר לאמת רשתות. השתתפות בתחרות Verification of Neural Networks.

קורסי קדם:

  • אימות פורמלי 83691 (במקביל לפרויקט)
  • למידה עמוקה 83882 (במקביל לפרויקט)

דרישות נוספות:

  • יכולות אלגוריתמיות ותכנותיות גבוהות.
  • תכנות ב-python יתרון.

מקורות:

  1. G. Katz et al. The Marabou Framework for Verification and Analysis of Deep Neural Networks. CAV’21. 
  2. Changliu Liu, Tomer Arnon, Chris Lazarus. Algorithms for Verifying Deep Neural Networks. Foundations and Trends in Optimization Series, Now Publishers, 2021.

804 Error identification and formal verification of Reinforcement Learning

זיהוי שגיאות ואימות פורמלי של למידה מבוססת חיזוקים

שם המנחה: Avraham Raviv
אחראי/ת אקדמי/ת: פרופ' הלל קוגלר

הרקע לפרויקט:

אימות פורמלי מאפשר שימוש באלגוריתמים ושיטות מתמטיות להוכחת נכונות של מערכות תוכנה וחומרה מורכבות. אחד האתגרים המרכזיים הנוכחיים הוא לתאר פתרונות שהתקבלו בשיטות של למידה ולהוכיח שהם אכן עומדים בדרישות. החשיבות של הוכחת נכונות של מודלים הנבנים בעזרת למידה מבוססת חיזוקים נעשית משמעותית לאור ההתקדמות הדרמטית בשיטות לאמן סוכני סביבה באלגוריתמים אלו ביחס למגבלות הקיימות בהבנת ההתנהגות של המודל.

מטרת הפרויקט:

במהלך הפרויקט הסטודנטים ירכשו ידע באימות פורמלי ויישמו אותו באמצעות שילוב של כלי אימות באלגוריתמים של למידה מבוססת חיזוקים.

תכולת הפרויקט:

פיתוח אלגוריתמים לאימות פתרונות של למידה מבוססת חיזוקים.

קורסי קדם:

  • אימות פורמלי 83691 (במקביל לפרויקט)
  • למידה עמוקה 83882 (במקביל לפרויקט)

דרישות נוספות:

  • יכולות אלגוריתמיות ותכנותיות גבוהות.
  • תכנות ב-python יתרון.

מקורות:

  1. O. Bastani, Y. Pu, and A. Solar-Lezama. 2018. Verifiable Reinforcement Learning via Policy Extraction. In Proc. 32nd Conf. on Neural Information Processing Systems (NeurIPS).
  2. Kazak et al. Verifying Deep-RL-Driven Systems. NetAI'19. https://dl.acm.org/doi/10.1145/3341216.3342218

225 Machine-Operated Electron Device

התקני אלקטרוניקה מבוקרי בינה מלאכותית

שם המנחה: יחיאל נגר ועומר נגר
אחראי/ת אקדמי/ת: פרופ' דורון נוה

הרקע לפרויקט:

התקנים אלקטרוניים, כולל סנסורים וגלאים, קולטים מידע רב אשר בדרך כלל איננו נגיש בצורה ישירה מכיוון שאופן הדגימה של רכיבים אלה אינו פורש את מרחב הפרמטרים של הרכיב. בעבודה זו אנו אוספים נתונים ומעבדים אותם לכדי מיצוי הנתונים הנאספים באמצעות שיטות למידת מכונה. לדוגמה, ראו https://www.nature.com/articles/s41566-021-00787-x.pdf

מטרת הפרויקט:

כתיבת קוד למימוש שיטות איסוף נתונים ולעיבוד הנתונים של סנסורים מתקדמים

תכולת הפרויקט:

כתיבת קוד ומימוש אלגוריתמים על מאגרי נתונים

קורסי קדם:

תכנות בפייתון ומבוא ללמידת מכונה

מקורות:

https://www.nature.com/articles/s41566-021-00787-x.pdf

805 Photorealistic Stereographic Rendering of Impossible 3D Objects

רינדור פוטוריאליסטי סטריאוגרפי של אובייקטים תלת ממדיים בלתי אפשריים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

An impossible image is a 2D image that represents a projection of a 3D object that cannot exist physically in real life. The artist M.C. Escher was a master in drawing such impossible images. In this project, a computer software for modeling such 3D objects and producing impossible image illusions will be created. The main theory is based on a paper by Savransky et al. from 1999. The idea of the project is to extend the algorithm given in the paper such that the rendered images will be photorealistic, creating a stronger illusion for the 3D perception. We will achieve this by supporting stereographic rendering using “3D glasses” like in movie theaters. This creates a stronger depth perception in the viewer’s mind. Additional extensions will be made by using more realistic optical perspective projection and global illumination.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

קורסים מומלצים (ניתן לקחת במקביל):

  • 83654 גרפיקה ממוחשבת.
  • 83656 עיבוד דיגיטלי של גיאומטריה 1
  • 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

ידע בגרפיקה ממוחשבת

מקורות:

  1. http://www.eng.biu.ac.il/~weberof/Escher/index.html
  2. Savransky, Guillermo, Dan Dimerman, and Craig Gotsman. "Modeling and Rendering Escher‐Like Impossible Scenes." Computer Graphics Forum. Vol. 18. No. 2. Oxford, UK and Boston, USA: Blackwell Publishers Ltd, 1999.

806 Visualization of geometric distortion on 3D surfaces

ויזואליזציה של עוות גאומטרי על משטחים תלת ממדיים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

תחום הגרפיקה הממוחשבת הינו תחום מרתק המתפתח בקצב מהיר בשנים האחרונות בעיקר בגלל תעשיית הקולנוע ומשחקי המחשב הגורפות מיליארדי שקלים, אך משמש גם בתחומים רבים נוספים כגון דימות רפואית, תכנון וייצור בעזרת מחשב, הדפסה תלת ממדית וכו'.

אובייקטים בגרפיקה ממוחשבת הינם משטחים בעלי צורה גיאומטרית כלשהיא (למשל גוף או פנים של בן אדם) המיוצגים לרוב על ידי רשת של משולשים זעירים המחוברים זה לזה לאורך קשתות חופפות.
מיפוי בין משטחים הוא אחד הכלים הבסיסיים והחשובים ביותר בתחום של גרפיקה ממוחשבת ועיבוד דיגיטלי של גאומטריה. קיימים אלגוריתמים רבים לחישוב מיפויים בין משטחים. למיפויים האלה יש תכונות גאומטריות והמטרה העיקרית בחישוב מיפוי כזה היא למזער את העיוות הגאומטרי שהינו בלתי נמנע.

בפרויקט זה לא נעסוק באופן ישיר בחישוב של מיפויים בין משטחים אלא נעסוק בהערכת האיכות של מיפויים קיימים. הערכה זו תתבצע על ידי ויזואליזציה גרפית. הפרויקט יעסוק בתכנון ומימוש ויזואליזציה למיפויים מסוגים שונים והשוואה ביניהם.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

  1. הפרויקט ידרוש פיתוח של אלגוריתם מורכב לוויזואליזציה של עוות גאומטרי של מיפויים בין משטחים.
  2. מימוש האלגוריתם בשפת C++ בשילוב עם כלים גרפיים כמו Maya ותוכנות נוספות כמו Matlab.
  3. בדיקה יסודית של תוצאות האלגוריתם על מגוון רחב של מודלים תלת ממדיים והשוואה לשיטות מתחרות.

קורסי קדם:

  • 83656 עיבוד דיגיטלי של גיאומטריה 1. ניתן לקחת במקביל.

קורסים מומלצים (לא חובה וניתן לקחת במקביל):

  • 83654 גרפיקה ממוחשבת.
  • 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.

מקורות:

1) Polygon mesh processing (book). Botsch, M., Kobbelt, L., Pauly, M., Alliez, P., & Lévy, B. (2010). CRC press.

807 Global Bijective Surface Parametrization

פרמטריזציה הרמונית חד ערכית גלובלית של משטחים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

תחום הגרפיקה הממוחשבת הינו תחום מרתק המתפתח בקצב מהיר בשנים האחרונות בעיקר בגלל תעשיית הקולנוע ומשחקי המחשב הגורפות מיליארדי שקלים, אך משמש גם בתחומים רבים נוספים כגון דימות רפואית, תכנון וייצור בעזרת מחשב, הדפסה תלת ממדית וכו'.

אובייקטים בגרפיקה ממוחשבת הינם משטחים בעלי צורה גיאומטרית כלשהיא (למשל גוף או פנים של בן אדם) המיוצגים לרוב על ידי רשת של משולשים זעירים המחוברים זה לזה לאורך קשתות חופפות.
מיפוי בין משטחים הוא אחד הכלים הבסיסיים והחשובים ביותר בתחום של גרפיקה ממוחשבת ועיבוד דיגיטלי של גאומטריה. קיימים אלגוריתמים רבים לחישוב מיפויים בין משטחים. למיפויים האלה יש תכונות גאומטריות והמטרה העיקרית בחישוב מיפוי כזה היא למזער את העיוות הגאומטרי שהינו בלתי נמנע.

בפרויקט זה נעסוק במימוש אלגוריתם למיפוי בין משטחים כאשר התכונה העיקרית שלו היא היותו חד ערכי. דבר זה מאפשר לנו למפות טקסטורה על גבי המשטח המקורי ועל ידי כך לצבוע ולהעשיר את המשטח המקורי במידע נוסף. המיפוי הספציפי שנעשה בו שימוש שייך למשפחת המיפויים ההרמוניים ולהם תכונות ייחודיות. האלגוריתם שנממש ידאג לכך ששפת המשטח לא תתנגש בעצמה. דבר שיבטיח את החד ערכיות.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

  1. הפרויקט ידרוש פיתוח של אלגוריתם פרמטריזציה חד ערכית.
  2. מימוש האלגוריתם בשפת C++ בשילוב עם כלים גרפיים כמו Maya ותוכנות נוספות כמו Matlab.
  3. הרצת האלגוריתם על מגוון רחב של דוגמאות ומודלים תלת ממדיים וניתוח התוצאות.
  4. השוואת תוצאות האלגוריתם עם שיטות מתחרות קיימות.

קורסי קדם:

  • 83656 עיבוד דיגיטלי של גיאומטריה 1. ניתן לקחת במקביל.

קורסים מומלצים (לא חובה וניתן לקחת במקביל):

  • 83633 עיבוד דיגיטלי של גיאומטריה 2
  • 83654 גרפיקה ממוחשבת.

דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.

מקורות:

  1. Polygon mesh processing (book). Botsch, M., Kobbelt, L., Pauly, M., Alliez, P., & Lévy, B. (2010). CRC press.
  2. Jiang, Zhongshi, Scott Schaefer, and Daniele Panozzo. "Simplicial complex augmentation framework for bijective maps." ACM Transactions on Graphics 36.6 (2017).

808 Discrete Conformal Equivalence of Polyhedral Surfaces

שקילות קונפורמית דיסקרטית למשטחים פוליהדרונים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

Polyhedral surfaces are elementary in computer graphics. They are used to represents real-life objects in virtual environments. Mapping such a polyhedral surface to a different domain, for example, to the plane is a fundamental problem in computer graphics and geometry processing. In this project we will learn about special types of maps which preserves angles (conformal maps). We will investigate a discrete notion of angle preservation and will implement an advanced algorithm for computing such maps. For more detailed see: https://www.cs.cmu.edu/~kmcrane/Projects/CEPS/index.html

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים יצטרכו לקרוא מאמר מתקדם בתחום, ללמוד אותו ביסודיות ולממשו. הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

קורסים: ניתן לקחת במקביל:

  • 83656 עיבוד דיגיטלי של גיאומטריה 1
  • 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.

מקורות:

1) https://www.cs.cmu.edu/~kmcrane/Projects/CEPS/index.html

809 Anamorphosis

אנמורפוזיס

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

Anamorphosis is a distorted projection requiring the viewer to occupy a specific vantage point, use special devices, or both to view a recognizable image. It is used in painting, photography, sculpture and installation, toys, and film special effects. Extreme anamorphosis has been used by artists to disguise caricatures, erotic and scatological scenes, and other furtive images from a casual spectator, while revealing an undistorted image to the knowledgeable viewer. For more information see: https://en.wikipedia.org/wiki/Anamorphosis

In this project we will implement algorithms for fabricating real-life objects that give rise to anamorphosis optical illusions. The fabricated objects will be printed using a 3D printer.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים יצטרכו לקרוא מאמר מתקדם בתחום, ללמוד אותו ביסודיות ולממשו. הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

קורסים מומלצים - ניתן לקחת במקביל - לא כולם ינתנו:

  • 83656 עיבוד דיגיטלי של גיאומטריה 1
  • 83654 גרפיקה ממוחשבת
  • 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.

מקורות:

  1. https://en.wikipedia.org/wiki/Anamorphosis
  2. https://dl.acm.org/doi/10.1145/2661229.2661267
  3. https://www.sciencedirect.com/science/article/pii/S0167839616300826?via…
  4. https://disegno.unioneitalianadisegno.it/index.php/disegno/article/view…
  5. https://link.springer.com/content/pdf/10.1007/s00004-015-0239-7.pdf
  6. https://link.springer.com/content/pdf/10.1007/s00004-016-0302-z.pdf

111 Bio-image Analysis

ניתוח ועיבוד של תמונות ביולוגיות

שם המנחה: Aryeh Weiss or Yair Lauber
אחראי/ת אקדמי/ת: פרופ' אריה וייס

הרקע לפרויקט:

Optical microscopy is one of the most widely used tools for studying biological systems. The outputs of the microscopy systems are image sets, which are often multidimensional (XYZ, time, wavelength, lifetime, etc). The field of bio-image analysis developed to deal with the images that optical microscopy (and other imaging modalities) generate.

מטרת הפרויקט:

Students who work on this project will need to learn how a particular biological experiment is carried out (and why), how the imaging is done, and how to process the images. The topic of the research may be agriculture, medicine, or forensics. The project itself will involve identification of features of interest and quantification of the results. A successful project is expected to produce results that can be presented at a conference, at least as a poster.

תכולת הפרויקט:

The student(s) will need to learn how to work in the Fiji/ImageJ environment, and use the ImageJ API to implement the processing workflow in Python. Other libraries such as scikit, openCV, and tensorflow might be used if appropriate.

The student will need to understand the biology behind the project, and will need to do a literature search to understand the current state of the art.

קורסי קדם:

Any 3rd year student who is motivated to self-learning is suitable.

Relevant courses include the programming, data structures, and signals and systems courses that are taken in the second year.

דרישות נוספות:

  1. Introduction to bio-image analysis; https://www.ibiology.org/techniques/bioimage-analysis/
  2. Introduction to Image Processing - one hour that will provide almost all of the vocabulary needed: https://imagej.net/Conference_2015_Program.html#Aryeh_Weiss1.2C2_-_An_introduction_to_digital_image_processing

מקורות:

Providing a useful solution that gets published and/or presented at a conference.

112 Transcriptomic analysis of variability in single cell RNAseq datasets

ניתוח שונות של רצפי רנ"א מתאים בודדים

שם המנחה: תומר קליסקי
אחראי/ת אקדמי/ת: פרופ' תומר קליסקי

הרקע לפרויקט:

בשנים האחרונות פותחו טכנולוגיות למדידת רצפי רנ"א מעשרות אלפי תאים.
אולם, ישנו חוסר בכלים חישוביים להפקת מידע משמעותי מהנתונים הרבים שנאספו.
בפרוייקט זה נטמיע ונפתח כלים להפקת מידע הקשור ל poly-A tailing מנתוני רנ"א של תאים בודדים שהופקו מרקמות ומגידולי כליה.

מטרת הפרויקט:

ניתוח שונות רצפים בין תאים, בדגש על poly-A tailing, פרסום הממצאים כמאמר בספרות האקדמית

תכולת הפרויקט:

  1. Obtain RNA sequences from published datasets
  2. Use available tools to characterize variability in poly-A tailing and its relation to variability on gene expression
  3. Correlate forms of poly-A tailing to patient clinical data in order to find new clinical biomarkers
  4. Possibly, develop in-house tools to improve the state of the art

קורסי קדם:

  • Computational biology
  • Genetics and molecular biology

דרישות נוספות:

  • R
  • Matlab
  • linux

מקורות:

https://support.10xgenomics.com/single-cell-gene-expression/software/pipelines/latest/what-is-cell-ranger

322 Substrate-based optical imaging

הדמיה אופטית מבוססת משטחים

שם המנחה: Gilad Yahav
אחראי/ת אקדמי/ת: פרופ' דרור פיקסלר

הרקע לפרויקט:

רוב שיטות המיקרוסקופיה מבוססות על אלמנטים אופטיים השולטים על האור הנכנס הפוגע בדוגמה ועל האור היוצא הנקלט בגלאי.
באמצעות פבריקציה של מבנים ננומטריים, ניתן להחליף חלק מן האלמטיים האופטיים על ידי המשטח עליו מונחת הדוגמה. גישה זו מייתרת את האלמטיים האופטיים ומאפשרת הדמיה אופטית מתקדמת ללא חומרה יקרה.

מטרת הפרויקט:

מטרת הפרויקט הינה תכנון, ייצור ואפיון משטחי זכוכית המצופים בשכבות דיאלקטריות דקות ומבנים ננו-מטריים שיהוו תחליף לאלמנטים האופטיים בשיטות מיקרוסקופיה שונות. לאחר מכן, הסטודנטים יבצעו הדמיה של דוגמאות מלאכותיות ודוגמאות ביולוגיות פשוטות.

תכולת הפרויקט:

ראשית, הסטודנטים יבצעו תכנון נומרי של המשטחים הננומטריים. לאחר מכן, הם ייצרו את המבנים בחדר הנקי ויאפיינו את הביצועים האופטיים שלהם במעבדה. לאחר השוואה בין התכנון המקורי והאיפיון הפיזיקלי של הרכיב המוכן, הסטודנטים יבדקו היתכנות לאופטימיזציה של תהליך הייצור.

קורסי קדם:

  • אופטיקה
  • לייזרים

מקורות:

  1. Lukas Novotny and Bert Hecht, "Principles of Nano-Optics", Cambridge University Press , 2012.

119 Characterizing neuronal activity of identified cells 

אפיון פעילות חשמלית של תאי עצב מזוהים

שם המנחה: אלון ריכטר לוין
אחראי/ת אקדמי/ת: פרופ' אורית שפי

הרקע לפרויקט:

לעלוקה 21 גנגליונים המסודרים לאורכה המכילים תאי העצב שנמצאים מסודרים בצורה קבועה מגנגליון לגנגליון מה שמאפשר לחזור ולהגיע אל אותו תא עצב פעם אחר פעם. בעזרת יכולת זאת ניתן לשאול שאלות שנוגעות להבדלים בין תאים מזוהים לתאים מזוהים אחרים. לחקירה כזו חשיבות רבה כאשר שואפים לאפשר הכוונת צמיחה ויצירת קשרים של תאי עצב, למשל לפיתוחם של ממשקים עצביים, לשיקום פגיעות עצביות ולטיפול במחלות נוירודגנרטיביות.
ניתן לזהות תאי עצב בגנגיליון על פי מיקומם המרחבי אך גם על פי הפעילות החשמלית שלהם שהיא יחודית לכל תא. אולם חלק משמעותי מחקר התכונות הספציפיות של תאי עצב מסוגים שונים מתבצע על ידי הוצאת התאים מהגנגליון וגידולם בתרביות תאים. במעבר זה מאבדים את יכולת זיהוי התאים על פי מיקומם בגנגליון אך ניתן לאפיינם על ידי תבנית הפעילות החשמלית שלהם.
תבנית הפעילות החשמלית יכולה לשמש גם כמדד חשוב לבחינת תגובתיות התאים לחומרים שונים, ויותר מכך, לאפיון חומרים שונים על פי יכולתם להשפיע על פעילות תאי העצב.

מטרת הפרויקט:

בפרויקט זה ננסה בשלב הראשון לאפיין את הפעילות היחודית של מספר תאים מזוהים על ידי הקלטות תוך תאיות מתאי עצב בגנגיליון ועיבוד הסיגנל המגיע מהתאים. חלק זה מחייב הן רישום מהתאים והן עיבוד מתקדם ואפיון של הסיגנל שנרשם. בעזרת מידע זה ננסה בשלב שני לזהות את אותם תאים בתרבית כאשר אנחנו מאבדים את יכולת הזיהוי על פי מיקומם המרחבי גם בהקלטה תוך תאית וגם בעזרת מערכת MEA(multi electrode array) .
בשלב שלישי, מאפייני רישום של תאים ספציפיים ישמשו לבחינת השפעה דיפרנציאלית של חומרים על פעילות התאים. פעילות התאים תירשם לפני ואחרי הוספת חומר פעיל, וניתוח הסיגנל לפני ואחרי יתורגם להגדרת השפעת החומרים על הפעילות.

תכולת הפרויקט:

  • לימוד תיאורטי וקריאה בספרות על מחקרים בתחום
  • עבודה עם מערכת אלקרופיזיולוגית - הקלטה תוך תאית מתאי עצב
  • עיבוד ואפיון הסיגנלים של התאים המזוהים השונים
  • עבודה עם מערך אלקטרודות במערכת MEA (multi electrode array)

קורסי קדם:

  • מבוא לפיסיולוגיה

דרישות נוספות:

  • ידע בתכנות
  • רקע בעיבוד אותות

מקורות:

  1. Titlow, J., Majeed, Z. R., Nicholls, J. G. & Cooper, R. L. Intracellular recording, sensory field mapping, and culturing identified neurons in the leech, Hirudo medicinalis. J. Vis. Exp. (2013) doi:10.3791/50631.
  2. Moshtagh-Khorasani, M., Miller, E. W. & Torre, V. The spontaneous electrical activity of neurons in leech ganglia. Physiol. Rep. 1, 1–16 (2013).

325 Vital Signs Detection Behind Barrier using Speckle of RF Radiation with Android Cellphones

חישת אותות חיים מאחורי קיר בתדרי RF בהפעלת Android Cellphone ואלגוריתמיקת ספקל

שם המנחה: פרופ. זאב זלבסקי, אוהד משולם
אחראי/ת אקדמי/ת: פרופ' זאב זלבסקי

הרקע לפרויקט:

הניסוי מוצע לסטודנטים במסלול אלקטרו-אופטיקה בשנה ד', משלב חומרה, תוכנה ואלגוריתמיקה באלקטרו-אופטיקה. מאפשר למידה בתחומי עיבוד אות, זיהוי בעזרת אלגוריתמיקת ספקל, הפעלת WiFi של מקמ"ש סלולרי דרך מערכת הפעלה מבוססת אנדרואיד.בניית סט-אפ לניסוי זיהוי מאחורי קיר בחדר סמוך במתארים שונים, של מספר נבדקים, במנחים שונים, עם וללא נשימה, בתנועה ובמצב סטאטי, ובניית ממשק תוכנה לבניית data-base של הקלטות

מטרת הפרויקט:

בשלב ראשון תדרש הקמת המערכת ויכולת הפעלה בתרחיש בסיסי ללא קיר והקלטת הנתונים. בשלב השני הסטודנטים יבצעו עיבוד המידע ויוכיחו זיהוי תדרי נשימה ודופק של הנבדקים. בשלב שלישי, ניתן יהיה להמשיך את הפרויקט לשנה נוספת בהתבסס על הקמת המערכת וממשקי ההפעלה, ולהרחיב את הניסוי למתארים שונים כנ"ל ובהוספת קיר, יבנה דאטה-בייס נרחב של ניסויים בתרחישים שונים, אותם יצליבו עם תוצאות הרפרנס. ביצוע כיול המערכת ויכולת זיהוי בתרחישים אלו

תכולת הפרויקט:

  • הפעלת אנדרואיד, השתלטות על מקמ"ש סלולרי והפעלה בו זמנית של מספר מכשירים
  • בניית ממשק להרצות הניסויים, ההקלטות
  • בניית ממשק לעיבוד הנתונים
  • אלגוריתמיקה, עיבוד אות, מימוש טכנולוגיית ספקל
  • עבודת מטלב, בניית ממשק אוטומטי לביצוע קרוס קורלציה, הצגת ספקטרומים, קביעת זיהוי

קורסי קדם:

  • מבוא לעיבוד אותות
  • אופטיקה
  • קורס תכנות

דרישות נוספות:

  • רקע ב-MATLAB
  • הכרות עם Android (יתרון)

מקורות:

  1.  J. Yan, H. Zhao, Y. Li, L. Sun, H. Hong and X. Zhu, "Through-the-wall human respiration detection using impulse ultra-wide-band radar," 2016 IEEE Topical Conference on Biomedical Wireless Technologies, Networks, and Sensing Systems (BioWireleSS), 2016, pp. 94-96, doi: 10.1109/BIOWIRELESS.2016.7445572.
  2. Vladimirov, Alexander. (2018). Dynamic Speckle Interferometry of Technical and Biological Objects. 10.5772/intechopen.81389. 

326 Bottom layer absorption coefficients extraction from two-layer phantoms based on crossover point in diffuse reflectance

חילוץ מקדמי הבליעה של שכבה תחתונה מפנטומים דו-שכבתיים המבוססים על נקודת הצלבה בהחזר מפוזר

שם המנחה: דרור פיקסלר
אחראי/ת אקדמי/ת: פרופ' דרור פיקסלר

הרקע לפרויקט:

Numerous optical imaging and spectroscopy techniques are used to study the tissue-optical properties; the majority of them are limited in information regarding the penetration depth. A simple, safe, easily applicable diagnostic technique is required to get deeper tissue information in a multilayer structure

מטרת הפרויקט:

A fiber-based diffuse reflectance (DR) technique is used to extract and quantify the bottom layer absorption coefficients in two-layer (2L) tissue-mimicking solid phantoms. We determine the Indian black ink concentrations in a deep-hidden layer that is sandwiched between agar and silicone-based phantom layers

תכולת הפרויקט:

A fiber-based DR experiment was performed to study the optical properties of the tissue at higher penetration depth, with different fiber core diameters and a constant numerical aperture (0.5 NA). The optimal core diameter of the fiber was chosen by measuring solid phantoms. In 2L phantoms, the thickness of the top layer was kept 5.5 mm with a constant absorption and reduced scattering coefficients (μa = 0.045 mm−1 and μs = 2.622 mm−1), whereas the absorption coefficients of the bottom layers were varied from 0.014 to 0.037 mm−1 keeping the μs 0 the same as the top layer. A unique crossover point (Cp) was found in the DR intensity profile against distance. We examined the slope before and after the Cp. These two slopes indicate the difference between the optical properties of the top and bottom layers. Our technique got further verification, as we successfully determined the Cp with different Indian black ink concentrations, placed at the junction between the agar and silicone-based phantom layers

קורסי קדם:

  • Lasers

מקורות:

  1. Pavitra Sokke Rudraiah, Hamootal Duadi, Dror Fixler Diffused reflectance measurements to detect tattoo ink location in skin using the crossover point https://doi.org/10.1002/jbio.202200003
  2. Pavitra S. Rudraiah, Hamootal Duadi, Dror Fixler, "Bottom layer absorption coefficients extraction from two-layer phantoms based on crossover point in diffuse reflectance," J. Biomed. Opt. 26(11) 117001 (30 November 2021) https://doi.org/10.1117/1.JBO.26.11.117001