פרויקטי גמר - הנדסת חשמל - המעבדה לעיבוד אותות תשפ"א

401 Complex activity recognition

זיהוי פעולות מורכבות

שם המנחה: ד"ר איציק כהן
אחראי/ת אקדמי/ת: ד"ר איציק כהן

הרקע לפרויקט:

היכולת לזהות אוטומטית פעילות ומתי היא מתחילה או מסתיימת הוא מרכיב מרכזי ביכולת ללמוד תהליכים. קיימות דוגמאות רבות בתחום הביטחון והתעופה (מתי סדרת פעילויות מגדירות אדם כחשוד בביצוע עסקת סמים או פעולת טרור) ובתחומי התהליכים (למשל, זיהוי אוטומטי של שלב ההכנה בו נמצאת מנה שהוזמנה במסעדה או זיהוי הצטברות עומס בבית חולים מאפשר לנהל את המשאבים טוב יותר).

בפרויקט זה ייבחר סוג הסנסור ממנו יישאב המידע (למשל: וידאו, תמונות, חיישני מיקום וכדומה), תוגדר פעילות או סדרה של פעילויות ותפותח גישה לזהות אותן.

מטרת הפרויקט:

בפרויקט זה ייבחר סוג הסנסור ממנו יישאב המידע (למשל: וידאו, תמונות, חיישני מיקום וכדומה), תוגדר פעילות או סדרה של פעילויות ותפותח גישה לזהות אותן.

תכולת הפרויקט:

  • סקר ספרות
  • בחירת סנסורים ותהליך
  • פיתוח כלי זיהוי ולמידה.

קורסי קדם:

  • רצוי - מבוא ללמידת מכונה


מקורות:

בפגישה

402 Generative modeling with GAN-MMD

מודלים גנרטיביים מותנים עם GAN-MMD

שם המנחה: איתן פתיה
אחראי/ת אקדמי/ת: ד"ר איתן פתיה

הרקע לפרויקט:

Generative models such as generative adversarial networks (GAN's) how seen great success in recent years. One version, GAN-MMD combines GAN's with moment-matching networks and has nice theoretical properties as well as good performance in practice.

מטרת הפרויקט:

In this project we will extend GAN-MMD to include conditional distributions - instead of generating random images we will be able to generate random that belong to a specific class such as car, plane etc. This allows us to have a more control over the generation and has been shown to work better in practice.

תכולת הפרויקט:

In this project the student with apply the GAN-MMD framework to various datasets, extent them to conditional-GAN-MMD and evaluate them empirically.

קורסי קדם:

  • אותות אקראיים ורעש

דרישות נוספות:

  • Knowledge of python, machine learning and deep neural networks is a plus.

מקורות:

MMD GAN: Towards Deeper Understanding of Moment Matching Network

403 Multi-target Ensemble Learning for Monaural Speech Separation

העשרת דיבור במיקרופון יחיד באמצעות רשת עמוקה מרובת מוצאים

שם המנחה: יוחאי ימיני
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

העשרת דיבור היא בעיה שמטרתה היא שיערוך אות דיבור נקי מתוך הקלטה רועשת שלו.

בעיה זו מאתגרת במיוחד כאשר האות הרועש הוקלט באמצעות מיקרופון בודד. בשנים האחרונות תחום הלמידה העמוקה הניב תוצאות מרשימות בתחומים רבים, וביניהם העשרת דיבור.

בלמידה עמוקה לרוב נעשה שימוש ב-target אותו הרשת צריכה ללמוד.

במקרה של העשרת דיבור, ה-target הוא הדיבור הנקי.

מטרת הפרויקט:

מטרת הפרויקט היא בחינת targets שונים עבור הרשת לשערוך האות הנקי, ואיכות האות המשוערך עבור רעשים רחבי סרט וצרי סרט.

תכולת הפרויקט:

  • מימוש רשתות באמצעות pytorch
  • אימון רשתות להעשרת דיבור עבור targets שונים
  • השוואת targets שונים באמצעות חישוב מדדים כמותיים ומבחני שמיעה לאותות הדיבור המשוערכים עבור רעשים רחבי סרט וצרי סרט

קורסי קדם:

  • עיבוד ספרתי של אותות 2
  • 2מבוא ללמידת מכונה

דרישות נוספות:

  • הקורס למידה עמוקה - מומלץ ביותר
  • Python
  • PyTorch

מקורות:

https://pdfs.semanticscholar.org/2cc1/81929da88128a9648121414e65b74144d29f.pdf

404 Statistic model for blind acoustic source separation

מודל סטטיסטי להפרדת עיוורת של מקורות דיבור

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

כאשר מספר דוברים מדברים בזמנים זהים לא ניתן לזהות מי מדבר ומתי. מובנות הדיבור אינה טובה ויש לשערך את האותות הרצויים מתוך הסיגנל המוקלט.

מטרת הפרויקט:

מטרת הפרויקט היא ליצור אלגוריתם אשר יידע להפריד בין דוברים שונים בסביבה רועשת ומהדהדת. הפרמטרים המבטאים את המודל הסטטיסטי ישוערכו כחלק מתהליך הלמידה.

תכולת הפרויקט:

בפרויקט נשתמש באלגוריתם ללמידת מכונה הנקרא EM, תוך שימוש במודל סטטיסטי. הפרויקט ימומש בפייתון או במטלב (עדיפות לפייתון).

לאחר מכן יבחן האלגוריתם במעבדה במספר ווריאציות שונות.

קורסי קדם:

  • dsp1
  • dsp2
  • ssp1
  • מבוא ללמידת מכונה

מקורות:

  1. Parameter Estimation of Superimposed Signals Using the EM Algorithm
  2. Two Model-Based EM Algorithms for Blind Source Separation in Noisy Environments

405 Online source separation for speech signals 

הפרדה בזמן אמת של מקורות דיבור שונים

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

במקרים רבים, כאשר מספר דוברים מדברים יחדיו, יש לבצע הפרדה של מקורות הדיבור Online.

יש לשערך בזמן אמת את הפרמטרים המגדירים את הסטטיסטיקה של האותות האקוסטיים במערכת וזאת על מנת לבצע הפרדה של הדוברים.

מטרת הפרויקט:

מטרת הפרויקט היא לקחת אלגוריתם הקיים עבור דוברים סטטיים ויצירת אלגוריתם העובד בזמן אמת עבור מערכות זזות

תכולת הפרויקט:

בפרויקט ניקח אלגוריתם למידת מכונה – אלגוריתם EM איטרטיבי ונהפוך אותו לרקורסיבי ע"י 2 פרוטוקולים שונים. לאחר מכן יבחן האלגוריתם במעבדה המדמה סביבות שונות בעלי הדהוד שונה ורעשים שונים. הפרוייקט ימומש בפייתון או במטלב - עדיפות לפייתון.

קורסי קדם:

  • dsp1
  • dsp2
  • ssp1
  • מבוא ללמידת מכונה

מקורות:

Two Model-Based EM Algorithms for Blind Source Separation in Noisy Environments

406 Voice activity detection based on statistical likelihood ratio with adaptive thresholding

מערכת לגילוי פעילות דיבור דיבור בעלת סף החלטה מסתגל

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

כאשר מקליטים בסביבה רועשת מאוד, פעמים רבות נרצה לדעת מתי ישנה פעילות של הדיבור ומתי הרעש.

ידע זה נצרך לפעולות רבות החל מסינון רעשים ועד איכון והפרדת דוברים.

במקרים רבים בוחרים סף- החלטה שלפיו נדע האם קיים דיבור או לא. עבור רעשים שאינם סטציונרים הבעיה קשה אף יותר ועל כן יש ליצור סף החלטה – היתאים עצמו לסטטיסטיקה המשתנה של הרעש

מטרת הפרויקט:

מטרת הפרויקט היא יצירת אלגוריתם לגילוי מסגרות זמן בהם קיימת נוכחות של דיבור

תכולת הפרויקט:

במהלך הפרויקט יבנו הסטודנטים אלגוריתם המתאים עצמו לרעשים בעלי סטטיסטיקה משתנה בזמן וזאת על מנת להתמודד עם מגוון רעשים רחב.

הפרויקט יכתב במטלב או בפייתון. (יתרון לפייתון).

קורסי קדם:

  • dsp1
  • dsp2
  • ssp1

מקורות:

  1. Voice activity detection based on statistical likelihood ratio with adaptive thresholding

 

407 Reverberation time estimation by deep learning for echo cancellation usage

שערוך זמן הדהוד ע"י למידה עמוקה לצורך ביטול מיטבי של הד

שם המנחה: ד"ר עופר שוורץ ומר אייל שוורץ
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Hands-free devices are often used in a noisy and reverberant environment. Therefore, the received microphone signal contain the desired near-end speech signal, background noise and a far-end echo signal that results from the acoustic coupling between the loudspeaker and the microphone. These interferences degrade the fidelity and intelligibility of the near-end speech. Acoustic echo cancellation system aims in estimating this acoustic coupling and employing adaptive filter to cancel the received echo signal.

Residual echo will be present at the output of the acoustic echo canceller when the acoustic echo path cannot be completely modeled by the adaptive filter. A spectral variance estimator for the so-called late residual echo that results from the deficient length of the adaptive filter can be used. The length of the echo cancellation filter and the post filter based on a statistical reverberation model. The model parameters depend on the reverberation time of the room.

However, estimating the reverberation time blindly and on the fly remains a challenge which can be obtained using deep learning algorithm. The reverberation time estimation can be formulated as a regression problem by using a convolutional neural network (CNN) to estimate the reverberation time directly from a four second long single-channel recording of reverberant speech in noise.

מטרת הפרויקט:

בפרויקט זה נממש מערכת לזיהוי משך זמן הדהוד של חדר ע"י אלגוריתם למידה עמוקה. המערכת תתאמן על אותות דיבור בעלי זמני הדהוד שונים על מנת ליצור סיווג פנימי של המערכת (כיול פנימי של פרמטרי הלמידה). לאחר מכן, המערכת תדע לסווג באופן אוטומטי זמני הדהוד לאותות דיבור הנקלטים בחדרים שונים.

זמן ההדהוד המשוערך יוזן למערכת ביטול הד. מערכת ביטול הד מטרתה להדעיך עד כמה שניתן הד החוזר מרמקול אל המקרופונים כדי לאפשר קליטה נקייה של הדובר הרצוי. כדי להדעיך את ההד באופן מיטבי משתמשים באות הרפרנס הקיים במערכת ומשערכים את המערכת האקוסטית מהרמקול את המיקרופון. ידיעת זמן ההדהוד של החדר תעזור בקביעת האורך של המערכת האקוסטית. לעיתים משתמשים גם במסנן נוסף כדי להדעיך הד שיורי. המסנן הנוסף זקוק גם הוא לשערוך של זמן ההדהוד של החדר.

התוצר הסופי יהיה מערכת כוללת אשר מכילה:

  1. מערכת למידה עמוקה של זמן הדהוד.
  2. מערכת ביטול אקו המשתמשת בזמן ההדהוד לקבלת ביטול הד מיטבי.

תכולת הפרויקט:

  1. מערכת למידה עמוקה אשר מכילה את השלבים הבאים: 
    1. Data base
    2. Model
    3. Train Stage
    4. Test Stage
  2. מימוש מערכת ביטול הד הכוללת שערוך מערכת אקוסטית ומסנן הדעכת הד שיורי.
  3. חיבור ב"טור" של המערכות הנ"ל ובדיקה כוללת של המערכת.

קורסי קדם:

  • מבוא ללמידת מכונה
  • DSP1
  • DSP2

דרישות נוספות:

  • קורס למידה עמוקה (יתרון)

מקורות:

  1. Blind reverberation time estimation using a convolutional neural network

  2. Habets, E. A. P., Gannot, S., Cohen, I., & Sommen, P. C. W. (2008). Joint dereverberation and residual echo suppression of speech signals in noisy environments. IEEE Transactions on Audio, Speech, and Language Processing, 16(8), 1433-1451. https://doi.org/10.1109/TASL.2008.2002071

408 Wind noise reduction from speech using spectral techniques

ניקוי רעשי רוח מאות דיבור ע"י שיטות ספקטראליות.

שם המנחה: ד"ר עופר שוורץ
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

This project uses an efficient technique for the enhancement of speech signals disturbed by wind noise.

In almost all noise reduction systems an estimate of the current noise power spectral density (PSD) is required.

As common methods for background noise estimation fail due to the non-stationary characteristics of wind noise signals, special algorithms are required.

The estimation technique usually consists of three steps:

  1. a feature extraction
  2. wind noise detection
  3. calculation of the current wind noise PSD
  4. employing spectral weighting.

Generally, we need to exploit the different spectral energy distributions of speech and wind noise.

מטרת הפרויקט:

בפרויקט נתכנן ונממש מערכת לניקוי רעשי רוח מאות דיבור ע"י מיקרופון יחיד. סדרת מאמרים שעוסקים בשיטות ספקטראליות תבחן ותתמיין ע"מ למפות את השיטות הקיימות לזהוי רעש רוח וניתוח המאפיינים שלו. השיטות מבוססות מודלים סטטיסטיים לרעש רוח ולדיבור במישור התדר.

רעש הרוח מאופיין בהשתנות גבוהה על ציר הזמן ובאופיין של דעיכה אקספוננטציאלית על ציר התדר. ניצול של המאפיינים השונים של הרוח מול דיבור יכול להועיל לשערוך מדויק של הצפיפות הספקטראלית של רעש הרוח.

לאחר מכן נשתמש במסנן חד-ערוצי כדי לסנן את רעש הרוח ולקבל ניקוי מיטבי של אות הדיבור.

תכולת הפרויקט:

בפרויקט זה נבצע:

  1. סקירה של שיטות ספקטראליות שונות לזיהוי וניקוי רעשי רוח.
  2. עריכת הקלטות אמת של דיבור ברעשי רוח.
  3. מימוש ב MATLAB של 
    • מערכת המבצעת בידוד וזיהוי של רעשי רוח בכל נקודת זמן-תדר.
    • שערוך של הצפיפות הספקטראלית של הרוח והדיבור בכל נקודת זמן תדר.
    • מסנן חד ערוצי לניקוי רעשי רוח
  4. בדיקה של השיטה לעומת שיטות קיימות ע"י מדדי איכות דיבור אובייקטיביים.

קורסי קדם:

  • DSP1
  • DSP2

דרישות נוספות:

  • קורס עיבוד דיבור (יתרון)

מקורות:

  1. Single microphone wind noise psd estimation using signal centroids
  2. Wind noise short term power spectrum estimation using pitch adaptive inverse binary masks

  3. Wind Noise Detection: Signal Processing Concepts for Speech Communication

  4. Corpus based reconstruction of speech degraded by wind noise

  5. Single microphone wind noise reduction using techniques of artificial bandwidth extension

  6. Wind noise reduction – signal processing concepts 

409 Speech and noise detection using the cGMM algorithm in noisy environment for joint source separation and denoising using the LCMV algorithm.

זיהוי דוברים ורעש באמצעות אלגוריתם cGMM בסביבה רועשת לצורך ביטול רעש והפרדת דוברים באמצעות אלגוריתם LCMV.

שם המנחה: מר אייל שוורץ
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Application of the linearly constrained minimum variance (LCMV) beamformer (BF) to speaker extraction tasks in real-life scenarios necessitates a sophisticated control mechanism to facilitate the estimation of the noise spatial cross-power spectral density (cPSD) matrix and the relative transfer function (RTF) of all sources of interest.

In a conventional timevarying complex Gaussian mixture model (cGMM), the observed signals are assumed to be composed of sparse target signals only, where the sparseness refers to the property of having significant power at only a few time-frequency points. However, this assumption becomes inaccurate in the presence of nonsparse signals such as background noise, which renders speech enhancement based on the cGMM less effective. In contrast, the proposed noisy cGMM is based on the assumption that the observed signals consist of not only sparse target signals but also non-sparse background noise. This enables the noisy cGMM to model the observed signals accurately even in the presence of non-sparse background noise, which leads to effective speech enhancement.

With noisy cGMM we create multichannel concurrent speakers detector (MCCSD) that utilizes all available microphone signals to detect the activity patterns of all speakers. Time frames classified as no active speaker frames will be utilized to estimate the cPSD, while time frames with a single detected speaker will be utilized for estimating the associated RTF.

מטרת הפרויקט:

בפרוייקט זה נממש מערכת ליצירת מסכה זמנית/תדרית שתסווג על ידי אלגוריתם EM זמנים ותדרים שונים לדוברים שונים ואל הרעש כשכל זה מבוצע בסביבה רועשת. לאחר מכן ניקח את הקטעים שבהם היו בההם דוברים דומינטיים מהשאר ליצירת RTF עבור הדוברים השונים למימוש מערכת LCMV שתפריד את הדוברים ותנחית את הרעש.

תכולת הפרויקט:

  1. בנייה של מערכת cGMM ליצירת מסכה לזיהוי דובר דומיננטי או רעש.
  2. סיווג הקטעים השונים ליצירת RTF לדוברים השונים למימוש מערכת LCMV שתפריד את הדוברים לקטעים שונים ותנחית את הרעש.

קורסי קדם:

  • DSP1
  • DSP2
  • אותות אקראיים ורעש.
  • SSP1
  • מבוא ללמידת מכונה.

דרישות נוספות:

  • קורס למידה עמוקה (יתרון)

מקורות:

  1. Shmulik Markovich-Golan, Alexander Bertrand, Marc Moonen, Sharon Gannot,
    Optimal distributed minimum-variance beamforming approaches for speech enhancement in wireless acoustic sensor networks, Signal Processing, Volume 107,
    2015, Pages 4-20
  2. N. Ito, C. Schymura, S. Araki and T. Nakatani, "Noisy cGMM: Complex Gaussian Mixture Model with Non-Sparse Noise Model for Joint Source Separation and Denoising," 2018 26th European Signal Processing Conference (EUSIPCO), Rome, 2018, pp. 1662-1666, doi: 10.23919/EUSIPCO.2018.8553410.
  3. S. E. Chazan, J. Goldberger and S. Gannot, "LCMV Beamformer with DNN-Based Multichannel Concurrent Speakers Detector," 2018 26th European Signal Processing Conference (EUSIPCO), Rome, 2018, pp. 1562-1566, doi: 10.23919/EUSIPCO.2018.8553564.

410 Side-Channel attack on cryptographic systems using frequency domain methods

ביצוע התקפות חומרה באמצעות זליגת מידע דרך ערוץ צד באמצעות זיהוי מאפיינים במרחב התדר

שם המנחה: יואב ויצמן
אחראי/ת אקדמי/ת: יואב ויצמן

הרקע לפרויקט:

אלגוריתמים קריפטוגרפים מבוססים על מספר פעולות לינאריות ולא לינאריות המבוצעות על המידע ומפתח סודי. אלגוריתמים אלה נחשבים בטוחים מאוד מבחינה אנליטית, אך נמצא שניתן לפרוץ אותם ביעילות באמצעות התקפות המנצלות זליגת מידע דרך ערוץ צד (כגון מדידת הספק או פליטה אלקטרומגנטית).

התקפות המבוססות על מדידת ערוצי הצד, דורשות סנכרון של פעולות ההצפנה בין הכניסות השונות, ולכן, קיימות הגנות המקשות על התוקף לחלץ מידע באופן אפקטיבי.

מטרת הפרויקט:

מטרת הפרוייקט לנתח את המאפיינים המחזוריים בספקטרום האות הנמדד וזיהוי מאפיינים המאפשרים סינכרון של האות הנמדד במערכת המדידה.

תכולת הפרויקט:

הפרוייקט כולל בניית מערכת נסיונית של התקפת הספק על מערכת הצפנה הממומשת על רכיב FPGA וביצוע מדידות של האות הזולג. לאחר המדידה יש לבצע איפיון סטטיסטי של האות תוך סינון רעשים אלגוריתמיים ואקראיים, וחילוץ מאפייני התזמון המאפשרים התקפה.

לבסוף נממש מנגנוני הגנה שונים שמטרתם לסכל את ההתקפה ונבחן את יעילותם של מנגנונים אלה כנגד תוקפים המסוגלים לבצע אנליזת תיזמון יעילה.

קורסי קדם:

  • התקפות על מערכות חומרה

מקורות:

Meynard O., Réal D., Guilley S., Flament F., Danger JL., Valette F. (2011) Characterization of the Electromagnetic Side Channel in Frequency Domain. In: Lai X., Yung M., Lin D. (eds) Information Security and Cryptology. Inscrypt 2010. Lecture Notes in Computer Science, vol 6584. Springer, Berlin, Heidelberg

411 Multi-channel speaker separation based on TanNet, time-domain neural network

הפרדת דוברים רב-ערוצית ע"י רשתות נוירונים מבוססת TasNet

שם המנחה: רננה אופוצ'ינסקי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בשנים האחרונות תחום הלמידה העמוקה התפתח והתקדם מאוד ובפרט הושגו תוצאות מרשימות בתחום הפרדת הדוברים ע"י רשתות נוירונים.

מחקרים עדכניים מראים שיפור משמעותי בביצועים של משימות שונות בתחום הדיבור כמו- הפרדה, זיהוי אוטומטי של דיבור וכו' באמצעות שימוש במעצבי אלומה נלמדים על סמך הdata (בהנתן מערך מיקרופונים).

במקביל, התפתחו גישות הפרדת דוברים ע"י רשתות נוירונים שמבצעות את ההפרדה במישור הזמן(TasNet) ישירות. בפרויקט זה נרצה לשלב בין שני העולמות ולפתח שיטה להפרדת דוברים רב ערוצית תוך שימוש בכלים של רשתות נוירונים ותוך שימת דגש על החתימה האקוסטית במערכת עם הדהוד ורעש.

מטרת הפרויקט:

פיתוח ומימוש שיטת הפרדת דוברים רב ערוצית תוך שימוש ברשתות נוירונים על סמך TasNet. יושם דגש על שיפור השיטות הקיימות בכלים מרחביים, מעצבי אלומה (beamformer) המנצלים את החתימה האקוסטית של המערכת (החדר) ושיפור הביצועים במצבים של הדהוד ורעש.

תכולת הפרויקט:

במסגרת פרויקט זה הסטודנטים יחשפו לעולם עיבוד אותות הדיבור בדגש על הפרדה ומעצבי אלומה (beamformer).

בנוסף, הסטודנטים ילמדו, יתכננו ויממשו רשת נוירונים עמוקה.

קורסי קדם:

  • עיבוד ספרתי 2
  • למידה עמוקה

(כולם במקביל, במהלך שנה ד')

דרישות נוספות:

  • קורס למידת מכונה
  • תכנות בpython – יתרון.

מקורות:

  1. Y. Luo and N. Mesgarani, "TaSNet: Time-Domain Audio Separation Network for Real-Time, Single-Channel Speech Separation," 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Calgary, AB, 2018, pp. 696-700, doi: 10.1109/ICASSP.2018.8462116.
  2. T. Ochiai, M. Delcroix, R. Ikeshita, K. Kinoshita, T. Nakatani and S. Araki, "Beam-TasNet: Time-domain Audio Separation Network Meets Frequency-domain Beamformer," ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, 2020, pp. 6384-6388, doi: 10.1109/ICASSP40776.2020.9053575.

412 Deep ranking-based sound-source localization and tracking

איכון ועקיבה אחר דובר באמצעות רשתות נוירונים

שם המנחה: רננה אופוצ'ינסקי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בשנים האחרונות תחום הלמידה העמוקה התפתח והתקדם מאוד ובפרט הושגו תוצאות מרשימות בתחום הלוקליזציה, איכון דובר, ע"י רשתות נוירונים. איכון דובר היא משימה מסובכת במיוחד בתנאי הדהוד. לאחרונה ישנה התעניינות גוברת בשיטות איכון מבוססות למידה. בגישות אלו, המאפיינים האקוסטיים מחולצים מתוך סיגנל הדיבור בזמן ומשמשים כקלט למודל שממפה אותם למיקום שלהם בהתאמה. רוב השיטות מבוססות הלמידה דורשות סטים גדולים של מידע מתויג, הקלטות ממיקום ידוע, המאפשרות את תהליך הלמידה. בפרויקט נרצה לפתח שיטת איכון ועקיבה אחר דובר בחדר ידוע תוך הנחות מציאותיות על קיום data מתויג חלקית.

מטרת הפרויקט:

בפרויקט הסטודנטים יממשו אלגוריתם המאפשר איכון של דובר ועקיבה תוך שימוש בכלים מתקדמים ועדכניים בעולם הלמידה. הסטודנטים ילמדו ויעשירו את הידע שלהם בתחום הלמידה העמוקה בכלל ובפרט בשיטות בתוך תחום זה שמתבססות רק באופן חלקי על דוגמאות מתויגות ועל אוסף גדול של דוגמאות שאינן מתויגות -דירוג בעזרת רשתות סיאמיות. העבודה תתבצע בהתחלה בעזרת נתונים מסימולציה ובהמשך יבוצעו הקלטות בחדר אקוסטי על מנת לבחון את יכולות האלגוריתם על דוגמאות מציאותיות שיאספו בניסוי במעבדה.

תכולת הפרויקט:

במסגרת פרויקט זה הסטודנטים יחשפו לעולם עיבוד אותות הדיבור ולשיטות איכון ועקיבה , למידה עמוקה ובפרט לשיטות למידה semi/weakly-supervised. בנוסף, הסטודנטים ייחשפו לתהליך ביצוע הקלטות וניסוי בחדר אקוסטי.

קורסי קדם:

  • עיבוד ספרתי 2
  • למידה עמוקה

(כולם במקביל, במהלך שנה ד')

דרישות נוספות:

  • קורס למידת מכונה
  • תכנות בpython – יתרון.

מקורות:

R. Opochinsky, B. Laufer-Goldshtein, S. Gannot and G. Chechik, "Deep Ranking-Based Sound Source Localization," 2019 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), New Paltz, NY, USA, 2019, pp. 283-287, doi: 10.1109/WASPAA.2019.8937159.

413 Neural Network-based Universal Sound Selector

בורר שמע מבוסס רשת ניורונים

שם המנחה: יוחאי ימיני
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

הקלטות אודיו מורכבות מאירועים אקוסטיים (acoustic events) מסוגים שונים כגון אדם מדבר, כלב נובח, צלצול טלפון וכו'. נרצה לברור רק את האירוע שמעניין אותנו, כגון חילוץ דיבור מתוך רעשי הרקע (העשרת דיבור), פעמים רבות לשם המשך עיבוד מתקדם יותר.

מטרת הפרויקט:

בפרויקט זה נממש מערכת המאפשרת חילוץ של אירועי שמע רצויים מתוך הקלטה המכילה עד חמישה אירועי שמע שונים. אירועי השמע יכולים להיות מתוך מאות קטגוריות, מה שהופך את הפרדת האירועים הרצויים למאתגרת.

תכולת הפרויקט:

  • מימוש רשתות באמצעות pytorch
  • מימוש רשת Conv-TasNet - רשת לעיבוד דיבור בתחום הזמן
  • מימוש רשת לברירת אירועי שמע
  • שימוש במאגר של אירועי שמע לצורך בניית מידע לאימון הרשת.

קורסי קדם:

  • עיבוד ספרתי של אותות 2
  • מבוא ללמידת מכונה

דרישות נוספות:

  • הקורס למידה עמוקה - מומלץ ביותר
  • Python
  • PyTorch

מקורות:

  1. Ochiai, T.‪, Delcroix, M.‪, Koizumi, Y.‪, Ito, H.‪, Kinoshita, K.‪, & Araki, S.‪ (2020)‪.‪ Listen to What You Want: Neural Network-based Universal Sound Selector.
  2. Y. Luo and N. Mesgarani, "Conv-TasNet: Surpassing Ideal Time–Frequency Magnitude Masking for Speech Separation," in IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 27, no. 8, pp. 1256-1266, Aug. 2019, doi: 10.1109/TASLP.2019.2915167.

414 Automatic reading of music cords using neural networks

קריאה אוטמטית של תווי מוזיקה בעזרת רשתות נוירונים

שם המנחה: יעקב גולדברגר
אחראי/ת אקדמי/ת: פרופ' יעקב גולדברגר

הרקע לפרויקט:

הפרוייקט משלב ידע במוזיקה קלאסית יחד עם עיבוד תמונה בעזרת שיטות של למידה עמוקה.

מטרת הפרויקט:

מצרת הפרוייקט היא בניית מערכת לקריאה ואולי גם נגינה של תווי מוזיקה

תכולת הפרויקט:

הסטודנט יבנה מערכת אטוטמטית לזיהוי תוים ואולי גם מימוש שלה שיעבוד בזמן אמת. השלב הראשון הוא בנית מאגר נתונים מתויג שמוגדר מדוגמאות של תוים שונים. בשלב הבא יש למצוא ארכיטקטורה מתאימה לרשת הנוירונים שממשת את המסווג ואז יש לאמן את הרשת על מנת למקסם את ביצועי המערכת. לבסוף יש לבצע אנליזת ביצועים המסבירה את המקרים בהם המערכת נכשלת.

קורסי קדם:

  • מבוא ללמידת מכונה
  • למידה עמוקה

מקורות:

  • קורסים אוןליין בלמידה עמוקה

פרויקטים נוספים מומלצים

102 Genetic pattern analysis in Immunological repertoires

ניתוח תבניות גנטיות ברפרטוארים אימונולוגים

שם המנחה: אילת פרס
אחראי/ת אקדמי/ת: פרופ' גור יערי

הרקע לפרויקט:

We have previously developed efficient computational pipelines for processing antibody repertoire data.

Here, we propose to utilize this framework to investigate novel repertoire features related to clonal connectivity across biological compartments (temporal, tissues or cell subsets).

מטרת הפרויקט:

Analyze antibody DNA sequencing datasets.

Assess the relevancy of different features on the ability to classify the datasets according to the clinical status of the individuals.

תכולת הפרויקט:

  • איסוף הנתונים
  • הכנת מבנה נתונים,
  • ניתוח הנתונים וכתיבת המחקר

קורסי קדם:

Big data analysis

מקורות:

  1. Georgiou, G., Ippolito, G. C., Beausang, J., Busse, C. E., Wardemann, H., & Quake, S. R. (2014). The promise and challenge of high-throughput sequencing of the antibody repertoire. Nature biotechnology, 32(2), 158–168. https://doi.org/10.1038/nbt.2782
  2. Yaari, G., Kleinstein, S.H. Practical guidelines for B-cell receptor repertoire sequencing analysis. Genome Med 7, 121 (2015). https://doi.org/10.1186/s13073-015-0243-2

 

204 Chip Identification Circuit (Fingerprint) using Physical Unclonable Functions (PUF) for Hardware Security

מעגל זיהוי אנלוגי המבוסס על PUF

שם המנחה: Yizhak Shifman
אחראי/ת אקדמי/ת: פרופ' יוסי שור

הרקע לפרויקט:

In the modern era, there is a huge amount of secured data transfer involving credit cards, autonomous vehicles, IOT, etc. It is essential for data centers to be able to identify users accurately and securely. A new category of circuit called Physical Uncloneable Functions (PUF) has been utilized to provide secret encryption keys and authentication. The PUFs use random transistor mismatch to generate digital codes, which are unknown even to the device manufacturer. The problem with PUF are that they also have many flaky bits which can change due to noise effects, requiring the use of complex error correction algorithms.

מטרת הפרויקט:

In this project, several novel techniques will be utilized to improve the reliability and robustness of the basic PUF cell. These techniques involve a combination of analog, digital and device physics concepts. During the course of this work, you will design a novel PUF array as well as its readout circuitry, all of which will be implemented in a Si IC. This is an original idea whose successful implementation can result in an academic publication.

תכולת הפרויקט:

In this project the student will design a PUF using digital and analog techniques. The schematics will be prepared in Virtuoso and simulated. Layout and post-layout simulations will be conducted to verify the circuit performance. This project will include a tapeout and Silicon measurements. The successful conclusion of this project may lead to an academic publication. Since there are several topologies here, there can be more than one project available.

קורסי קדם:

  • 768330301 אלקטרוניקה לינארית - חובה
  • 768332501 מעבדה למעגלים אנלוגיים – חובה
  • 8330801 מעגלים אלקטרוניים ספרתיים – חובה
  • 83315 מעבדה מעגלים אלקטרוניים ספרתיים – חובה
  • 768361101 מעגלים משולבים אנלוגיים – מומלץ

מקורות:

  1. G. Schrijen, “Scalable Security for IoT” in ISSE 2015, Berlin, Germany.
  2. C. Herder, Y. Meng-Day, F. Koushanfar, S. Devadas, "Physical Unclonable Functions and Applications: A Tutorial", Proceedings of the IEEE, vol. 102, no. 8, pp. 1126 – 1141, (2014)

205 Analog to Digital Converter based the SAR (Successive Approximation Register) Algorithm

ממיר אנלוג לדיגיטל מבוסס על מדולטור של SAR

שם המנחה: TBD

אחראי/ת אקדמי/ת: פרופ' יוסי שור

הרקע לפרויקט:

Analog to digital converters are used to transfer real-world information, which is analog, to the digital domain for further signal processing. This is an extremely important function which is prevalent in all computer systems. There is a constant battle to improve performance, lower power, increase bandwidth, etc….

מטרת הפרויקט:

In this project you will design a highly compact analog to digital converter (ADC) using the SAR (Successive Approximation Register).

The SAR topology is one of the most attractive for low power and compact ADC applications. It is also a relatively simple architecture conceptually and lends itself to many types of optimizations to improve accuracy, reduce area and enable low power operation. You will need to learn the theory and then implement the circuit in 65nm CMOS.

The SAR ADC includes both analog and digital blocks, which will allow you to develop skills in both.

תכולת הפרויקט:

In this project the student will design a SAR ADC using digital and analog techniques. The schematics will be prepared in Virtuoso and simulated. Layout and post-layout simulations will be conducted to verify the circuit performance.

קורסי קדם:

  • 768330301 אלקטרוניקה לינארית - חובה
  • 768332501 מעבדה למעגלים אנלוגיים – חובה
  • 8330801 מעגלים אלקטרוניים ספרתיים – חובה
  • 83315 מעבדה מעגלים אלקטרוניים ספרתיים – חובה
  • 768361101 מעגלים משולבים אנלוגיים – חובה

מקורות:

  1.  Analog Integrated Circuit Design – Tony Chan Carusone, David Johns and Kenneth Martin – John Wiley Publishers. Chapters 16 and 17

 

  1. “A compact 10-b SAR ADC with unit-length capacitors and a passive FIR filter” P Harpe IEEE Journal of Solid-State Circuits 54 (3), 636-645

206 Compact Analog to Digital Converter based on a Sigma-Delta modulator

ממיר אנלוג לדיגיטל מבוסס על מדולטור של דלתא סיגמא

שם המנחה: דניאל דהן
אחראי/ת אקדמי/ת: פרופ' יוסי שור

הרקע לפרויקט:

Analog to digital converters are used to transfer real-world information, which is analog, to the digital domain for further signal processing.

This is an extremely important function which is prevalent in all computer systems. There is a constant battle to improve performance, lower power, increase bandwidth, etc.

The Sigma Delta modulator is a low power approach to digitize analog information and is one of the most prevalent architectures.

מטרת הפרויקט:

. In this project you will design a highly compact analog to digital converter (ADC) using a Sigma Delta approach.

We will attempt some state-of-the-art analog and digital techniques to optimize the modulator. You will need to learn the theory and then implement the circuit in 65nm CMOS.

The circuit includes an analog amplifier and switched capacitor circuits, as well as a digital filter.

תכולת הפרויקט:

In this project the student will design a Sigma Delta ADC using digital and analog techniques.

The schematics will be prepared in Virtuoso and simulated.

Layout and post-layout simulations will be conducted to verify the circuit performance.

קורסי קדם:

  • 768330301 אלקטרוניקה לינארית - חובה
  • 768332501 מעבדה למעגלים אנלוגיים – חובה
  • 8330801 מעגלים אלקטרוניים ספרתיים – חובה
  • 83315 מעבדה מעגלים אלקטרוניים ספרתיים – חובה
  • 768361101 מעגלים משולבים אנלוגיים – חובה

מקורות:

  1. T. Oshita, J. Shor, D. E. Duarte, A. Kornfeld, G. L. Geannopoulos, J. Douglas, and N. Kurd,  "A Compact First-Order ΣΔ modulator for Analog High-Volume Testing of Complex System-on-Chips in a 14 nm Tri-Gate Digital CMOS Process", IEEE Journal of Solid-State Circuits vol. 51, no. 2 pp. 378 - 390 (2016)
  2. Ro’ee Eitan and Ariel Cohen, “Untrimmed Low-Power Thermal Sensor for SoC in 22 nm Digital Fabrication Technology”, J. Low Power Electron. Appl. 2014, 4, 304-316; doi:10.3390/jlpea4040304

207 Ring Oscillator Based Amplifier for Sensor Applications

מגבר המבוסס על מתנד-טבעת עבור יישומי חיישנים

שם המנחה: Asaf Feldman
אחראי/ת אקדמי/ת: פרופ' יוסי שור

הרקע לפרויקט:

Analog Amplifiers are complex circuits which require a lot of hand-tuning and are not scalable.

Recently, a new type of amplifier has emerged which is much more “digital”.

This is called a “Ring Ampifier” which essentially uses a ring oscillator as an amplifier.

It can be much more compact and simpler than a corresponding analog circuit.

מטרת הפרויקט:

In this project you will design a ring amplifier and use it in an application such as analog-to-digital conversion or voltage regulation. These are generally application which are left to analog circuits, so this amplifier will make these circuits more “digital”. The ring amplifier will be utilized in one of these applications.

תכולת הפרויקט:

You will need to learn the theory and then implement the circuit in 65nm CMOS. 

An application will be chosen for the ring amplifier circuit.

The schematics will be prepared in Virtuoso and simulated.

Layout and post-layout simulations will be conducted to verify the circuit performance.

Since there are several applications here, there may be more than one project available.

קורסי קדם:

  • 768330301 אלקטרוניקה לינארית - חובה
  • 768332501 מעבדה למעגלים אנלוגיים – חובה
  • 8330801 מעגלים אלקטרוניים ספרתיים – חובה
  • 83315 מעבדה מעגלים אלקטרוניים ספרתיים – חובה
  • 768361101 מעגלים משולבים אנלוגיים – חובה

מקורות:

  1. B. Hershberg, “Ring Amplifiers for Switched Capacitor Circuits”, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 47, NO. 12, DECEMBER 2012, pp. 2928.
  2. Jun-Eun Park, et. al. “A 0.4-to-1.2V 0.0057mm2 55fs-Transient-FoM Ring-Amplifier-Based Low-Dropout Regulator with Replica-Based PSR Enhancement” ISSCC 2020 Digest of Technical Papers, pp. 492-3.

208 Ultra-Low Power (pico-Watt) Voltage-Level Sensor for Battery Level Monitoring and Energy Harvesting

חיישן רמת מתח סופר-חסכוני באנרגיה המתאים ליישומים של ניטור קצירת אנרגיה ורמות סוללה

שם המנחה: Asaf Feldman
אחראי/ת אקדמי/ת: פרופ' יוסי שור

הרקע לפרויקט:

The Internet of Things has enabled devices at the edge which either have a very small battery or function from Energy Harvesting. It is very important to monitor the amount of charge left in the supply voltage to see if the sensor can remain operational or the battery requires replace. In the case of bio-implantable devices, this battery replacement can involve an operation on the patient. Thus a voltage-level sensor is required which consumes the bare minimum of power to indicate whether the battery or energy harvester has sufficient charge in it for the IOT device to function.

מטרת הפרויקט:

In this project you will design an accurate voltage level sensor to determine the amount of charge left in a battery or energy harvester. This sensor has to consume the absolute bare-minimum amount of power (pico-Watts) yet give an accurate DC response. This will involve designing ultra-low-power circuits including a reference voltage generator and comparator as well as digital support circuitry.

תכולת הפרויקט:

You will need to learn the theory and then implement the circuit in 65nm CMOS. The schematics will be prepared in Virtuoso and simulated. Layout and post-layout simulations will be conducted to verify the circuit performance. The successful conclusion of this project may lead to an academic publication.

קורסי קדם:

  • 768330301 אלקטרוניקה לינארית - חובה
  • 768332501 מעבדה למעגלים אנלוגיים – חובה
  • 8330801 מעגלים אלקטרוניים ספרתיים – חובה
  • 83315 מעבדה מעגלים אלקטרוניים ספרתיים – חובה
  • 768361101 מעגלים משולבים אנלוגיים – חובה

מקורות:

  1. I. Lee, Y. Lee, D. Sylvester, and D. Blaauw, “Battery Voltage Supervisors for Miniature IoT Systems,” IEEE J. Solid-State Circuits, vol. 51, pp. 2743–2756, November 2016.
  2. C. D. Roover and M. S. J. Steyart, “Energy Supply and ULP Detection Circuits for an RFID Localization System in 130 nm CMOS,” IEEE J. Solid-State Circuits, vol. 45, pp. 1273–1285, June 2010.

209 Voltage Droop Detector Circuit for protection against current surges in Microprocessors.

תכנון גלאי נפילות מתח מהיר וחסכוני לשם הגנה מפני נחשולי זרם במיקרו-מעבדים מתקדמים

שם המנחה: Elisheva Berkowitz and Yizhak Shifman
אחראי/ת אקדמי/ת: פרופ' יוסי שור

הרקע לפרויקט:

The operating current in microprocessors can vary over a very wide range (100uA up to 10’s of Amps). When there is a sudden current surge, the voltage supply, which is inductive in its nature, can have a temporary reduction in its supply level – an event which is referred to as a voltage droops. The droops can be as large as 100’s of mV, and can cause the processor to fail in its computations. In order to mitigate this problem, sensors are required which can monitor the voltage supply and quickly indicate that a droop event is in progress. After getting an indication from this sensor, the Microprocessor can take actions which prevent errors from occurring.

מטרת הפרויקט:

In this project, you will design a Droop Detector (DD) circuit which indicates that a droop event is in progress. The DD has to have a very high bandwidth (~ GHz), but nevertheless consume very low power (10’s of uA). A modified CMOS inverter, used as an analog amplifier, will be utilized here. Several digital and analog modifications of the amplifier will be required in order to optimize it for this application.

תכולת הפרויקט:

You will need to learn the theory and then implement the circuit in 65nm CMOS. The schematics will be prepared in Virtuoso and simulated. Layout and post-layout simulations will be conducted to verify the circuit performance. In this project, we plan a tapeout as well, and post-Silicon measurements. The successful conclusion of this project may lead to an academic publication.

קורסי קדם:

  • 768330301 אלקטרוניקה לינארית - חובה
  • 768332501 מעבדה למעגלים אנלוגיים – חובה
  • 8330801 מעגלים אלקטרוניים ספרתיים – חובה
  • 83315 מעבדה מעגלים אלקטרוניים ספרתיים – חובה
  • 768361101 מעגלים משולבים אנלוגיים – חובה

מקורות:

  1. Aydin Dirican, et. al. "A Droop Measurement Built-in Self-Test Circuit for Digital Low-Dropout Regulators" 19th Int'l Symposium on Quality Electronic Design IEEE
  2. Thomas Strach, et. al. "Droop Mitigation using Critical-Path Sensors and an On- Chip distributed Power Supply Estimation Engine in the z14™ Enterprise Processor", IEEE International Solid State Circuits Conference, 2018.

501 Massive cooperation of LEO satellites

שיתוף פעולה מסיבי בין לווינים במסלול נמוך

שם המנחה: רעי ריכטר
אחראי/ת אקדמי/ת: דר' איציק ברגל

הרקע לפרויקט:

הדרישות ממערכות התקשורת רק הולכות וגדלות. כלומר מערכות תקשורת נדרשות לתמוך בקצבי מידע גדולים יותר ובנוסף לשרת יותר משתמשים. לכן, יש צורך בשיפור המערכות תקשורת הקיימות ואחת הדרכים המבטיחות לעשות זאת היא שילוב של לוויני תקשורת במערכות תקשורת הקיימות. חברות שונות מפתחות קונסטלציות של אלפי לווייני תקשורת שמטרתם העיקרית היא תמיכה בהעברת מידע רב וכיסוי שטחים נרחבים. לווינים אלו ימוקמו בגבהים נמוכים מאוד, ולכן ינועו במהירות גבוהה יחסית לכדור הארץ ויצריכו שיטות וטכנולוגיות חדשות.

במערכות תקשורת יבשתיות השימוש בריבוי אנטנות במשדר ובמקלט (MIMO) הוכיח את עצמו ומשפר את הביצועים. השימוש ב- MIMO מעניק יתרונות רבים ולכן יש מוטיבציה גבוהה להכניס שימוש MIMO גם ללויינים.

מטרת הפרויקט:

בפרויקט נבחן את האתגרים במערכת תקשורת עם מספר רב של לווינים עם ריבוי אנטנות ונחפש להם פתרונות. מטרת הפרויקט היא לכתוב סימולציה ולנתח מערכת תקשורת עם מספר רב של לוויינים שמשתפים פעולה על מנת לשרת משתמשים רבים בכדור הארץ.

תכולת הפרויקט:

כתיבת סימולציה של מערכת תקשורת שכוללת מספר רב של לווינים ומשתמשים עם ריבוי אנטנות. הסימולציה תכלול שימוש במספר אנטנות בכל לווין ובכל משתמש, וניתוח הביצועים כאשר מספר הלווינים גדול.

קורסי קדם:

תקשורת ספרתית 2 (במקביל)

מקורות:

Arapoglou, Pantelis-Daniel, et al. "MIMO over satellite: A review." IEEE communications surveys & tutorials 13.1 (2011): 27-51.

502 Scheduling for LEO satellites

הקצאת משאבים למערכת תקשורת עם לווינים נמוכי מסלול

שם המנחה: רעי ריכטר
אחראי/ת אקדמי/ת: דר' איציק ברגל

הרקע לפרויקט:

כמויות המידע שמערכות תקשורת נדרשות להעביר רק הולכות וגדלות. לווייני תקשורת נמצאים בשימוש כבר כמה עשורים, אך הצורך בהגדלת קצבי המידע מצריך תכנון מערכתי חדש לגמרי. חברות שונות מפתחות קונסטלציות של אלפי לווייני תקשורת שמטרתם העיקרית היא תמיכה בהעברת מידע רב וכיסוי שטחים נרחבים. לווינים אלו ימוקמו בגבהים נמוכים מאוד, ולכן ינועו במהירות גבוהה יחסית לכדור הארץ ויצריכו שיטות וטכנולוגיות חדשות.

במערכות תקשורת יבשתיות השימוש בריבוי אנטנות במשדר ובמקלט (MIMO) הוכיח את עצמו ומשפר את הביצועים. השימוש ב- MIMO מעניק יתרונות רבים ולכן יש מוטיבציה גבוהה להכניס שימוש MIMO גם ללויינים.

מטרת הפרויקט:

בפרויקט נלמד את האתגרים בהקצאת משאבים במערכת תקשורת עם מספר לווינים ומשתמשים מרובי אנטנות ונחפש להם פתרונות. מטרת הפרויקט היא לכתוב סימולציה שמקצה את משאבי התקשורת למשתמשים בצורה חכמה ויעילה, כך שהמערכת תתמוך בכל המשתמשים כנדרש.

המטרה המחקרית של הפרויקט היא לנתח את האפשרויות השונות בהקצאת המשאבים לכל משתמש ולווין על מנת למקסם את הביצועים.

תכולת הפרויקט:

כתיבת סימולציה שתכלול שימוש במספר אנטנות, חישוב של מסלולי הלווינים, מידול הערוץ והקצאת משאבים.
בפרויקט יבחנו שיטות שונות להקצאת משאבים בין לווינים ומשתמשים.

בנוסף תבחן ותגובש שיטה לבחירת הלווינים שמתקשרים עם כל משתמש.

קורסי קדם:

תקשורת ספרתית 2 (במקביל)

מקורות:

Arapoglou, Pantelis-Daniel, et al. "MIMO over satellite: A review." IEEE communications surveys & tutorials 13.1 (2011): 27-51.

503 Blind Channel Equalization using Variational Autoencoders

שערוך ערוץ בעזרת למידת מכונה

שם המנחה: רעי ריכטר
אחראי/ת אקדמי/ת: דר' איציק ברגל

הרקע לפרויקט:

בשנים האחרונות השימוש בלמידת מכונה גדל ותורם לפתירת בעיות רבות. אחד האילוצים המרכזיים בשימוש בלמידת מכונה הוא הצורך במידע שבעזרתו נוכל לאמן רשת לביצוע פעולות. הצורך בלמידת מכונה במערכות תקשורת הוא נושא לדיון בפני עצמו ולא מעט מאמרים נכתבו על כך.

מערכות תקשורת כיום נדרשות לתמוך בקצבים גבוהים של מידע ולכן יש צורך לנצל את ציר הזמן וציר התדר ככל שניתן. לאחרונה התחילו לעבוד עם תדרים גבוהים יותר (עשרות גיגה, "גלים מילימטרים") על מנת להגדיל ולנצל יותר ממשאב התדר.

השימוש בגלים מילימטרים יוצר אתגרים חדשים ואחד האתגרים המרכזיים הוא שערוך הערוץ במערכת עם מספר אנטנות שידור וקליטה (MIMO).

מטרת הפרויקט:

בפרויקט נלמד וננתח את האתגרים בשיערוך הערוץ עבור מערכת תקשורת עם מספר אנטנות שידור וקליטה ונחפש להם פתרונות בעזרת שימוש בכלים של למידת מכונה. מטרת הפרויקט היא לכתוב סימולציה ולהבין את היתרונות והחסרונות בשיערוך ערוץ על ידי סדרות סנכרון ולהציע שיערוך נוסף על ידי למידת מכונה.

תכולת הפרויקט:

כתיבת סימולציה שתכלול מערכת תקשורת שמבוססת על גלים מילימטרים עם מספר אנטנות במשדר ובמקלט.
בפרויקט יבחנו שיטות שונות לשיערוך הערוץ
בנוסף תבחן ותגובש שיטה לשערוך הערוץ בעזרת למידת מכונה

קורסי קדם:

תקשורת ספרתית 2 (במקביל)

מקורות:

Caciularu, Avi, and David Burshtein. "Blind channel equalization using variational autoencoders." In 2018 IEEE International Conference on Communications Workshops (ICC Workshops), pp. 1-6. IEEE, 2018.

606 Detecting errors and formal verification of Neural Networks

זיהוי שגיאות ואימות פורמלי של רשתות נוירונים

שם המנחה: Dr. Hillel Kugler and Avraham Raviv
אחראי/ת אקדמי/ת: דר' הלל קוגלר

הרקע לפרויקט:

אימות פורמלי מאפשר שימוש באלגוריתמים ושיטות מתמטיות להוכחת נכונות של מערכות תוכנה וחומרה מורכבות. אחד האתגרים המרכזיים הנוכחיים הוא לתאר פתרונות שהתקבלו בשיטות של למידה ולהוכיח שהם אכן עומדים בדרישות.

החשיבות של הוכחת נכונות של מערכת נוירונים נעשית משמעותית לאור ההתקדמות הדרמטית בשיטות ללמוד רשתות אך המגבלות הקיימות בהבנת ההתנהגות של הרשת שנלמדה.

מטרת הפרויקט:

במהלך הפרויקט הסטודנטים ירכשו ידע באימות פורמלי ויישמו אותו באמצעות פיתוח אלגוריתמים שמאפשרים לתאר ולאפיין התנהגות דינמית של רשתות נוירונים. הפרויקט ידרוש הבנת תאורטית של החומר ויכולת תכנות גבוהה למימוש יעיל של האלגוריתמים.

יעד משמעותי בפרויקט הוא בניית כלי תוכנה והשתתפות בתחרות Verification of Neural Networks .

תכולת הפרויקט:

פיתוח אלגוריתמים שמאפשרים לתאר ולאפיין התנהגות דינמית של רשתות נוירונים.

השתתפות בתחרות Verification of Neural Networks

קורסי קדם:

  • 83691 Formal Verification and Synthesis
  •  
  • 83670 Biological Computation (אפשר במקביל לפרויקט)
  •  
  • 83869 Cyber Physical Systems(אפשר במקביל לפרויקט)

דרישות נוספות:

  • יכולות אלגוריתמיות ותכנותיות גבוהות.
  • נכונות להיקף עבודה משמעותי.

מקורות:

  1. VNN20 https://sites.google.com/view/vnn20/
  2. Ian Goodfellow, Yoshua Bengio and Aaron Courville. Deep Learning. MIT Press, 2016.
  3. G. Katz, C. Barrett, D. Dill, K. Julian and M. Kochenderfer. Reluplex: An Efficient SMT Solver for Verifying Deep Neural Networks.Proc. 29th Int. Conf. on Computer Aided Verification (CAV). Heidelberg, Germany, July 2017.
  4. Gagandeep Singh, Timon Gehr, Markus Püschel, and Martin Vechev. Boosting Robustness Certification of Neural Networks. ICLR 2019.
  5. Manna, Zohar, and Amir Pnueli. "Temporal verification of reactive systems: safety." Springer (1995).

802 Process mining

כריית תהליכים

שם המנחה: ד"ר איציק כהן
אחראי/ת אקדמי/ת: ד"ר איציק כהן

הרקע לפרויקט:

כריית תהליכים היא גישה חדשה מבטיחה ומתפתחת המחברת בין עולם מידול התהליכים לבין עולם למידת המכונה. אנו חיים בעולם מרובה תהליכים: תהליך יכול להיות התפתחות של מגיפה כולל תהליכי הדבקה ואינטראקציות בין נשאים לאנשים בריאים, או לחילופין תהליך עסקי בארגון או תהליך פיתוח של מוצר חדש. בפרויקט זה ייבחר תהליך ותבוצע עליו כריית תהליכים לגילוי התהליך וביצוע חיזוי.

מטרת הפרויקט:

גילוי וחיזוי של תהליך תוך שימוש בכלי כריית תהליכים ולמידת מכונה.

תכולת הפרויקט:

בחירת תהליך, סקר ספרות, ניתוח נתונים, שימוש בכלי כריית תהליכים לגילוי וזיהוי התהליך.

קורסי קדם:

רצוי קורס מבוא במבוא ללמידת מכונה או שלחילופין בלימוד עצמי

מקורות:

קורס לדוגמה בנושא process mining: data science in action -mining

801 A system for Syllabi unification and comparison

מערכת היתוך מידע והשוואת איכות קורסים אקדמיים

שם המנחה: דר' רן גלס / פרופ׳ צביקה לוטקר
אחראי/ת אקדמי/ת: דר' רן גלס

הרקע לפרויקט:

במוסדות רבים בעולם נלמדים תארים דומים אך שונים – ״מהנדס חשמל״ באוניברסיטת MIT דומה אך שונה לתואר ״מהנדס אלקטרוניקה״ באוניברסיטת Boston university שמעבר לנהר. הכלי שמגדיר מהו קורס הוא הסילבוס, שמפרט את הקורס ותכניו. מכיוון שקיימות אוניברסיטאות רבות ושונות במדינות רבות ושונות, קשה מאד להשוות בין קורסים ״דומים״ שניתנים בארצות שונות. יותר מכך, קשה מאד להשוות בין סילבוס של קורס נתון (ב-MIT, למשל), לסילבוס (באיטלקית) של הקורס המקביל באוניברסיטת ונציה – הן עקב פערי השפה, והן עקב פערים בין עומק הנושאים השונים ורמת ההרחבה.

מטרת הפרויקט:

בפרויקט זה נבנה מערכת אחודה לאיסוף והשוואת סילבוסים. המערכת תצטרך לאסוף (scrape/collect) סילבוסים של אוניברסיטאות בעולם ולבצע ניתוח (data mining) ואיחוד (unification) של המידע. המטרה היא להיות מסוגלים לקחת, למשל, סילבוס באיטלקית, ולקבל ״תרגום״ שלו לעברית והשוואה מול סילבוסים של קורסים דומים.
לדוגמא: נרצה להזין סילבוס של קורס של ״מערכות לינאריות״ של אוניברסיטה בהודו, לקבל ״תרגום״ לאנגלית/עברית, והשוואה כגון ״הקורס זהה ב-85% אל הקורס הנלמד בבר-אילן; דמיון של 95% לקורס הנלמד ב-MIT״, וכיו״ב.

תכולת הפרויקט:

שלבי הפרויקט יכילו פיתוח מערכת תוכנה (בשפת Pythonאו דומה) לניהול סילבוסים:

  1. (איסוף אוטומטי של סילבוסים ע״י זחילה באינטרנט
  2. ניתוח כל סילבוס ל״גורמים ראשוניים״ וביצוע יוניפיקציה.
  3. בניית ממשק WEB המאפשר השוואת סילבוסים אל מול מאגר המידע שנאסף על ידי המערכת בשלב
  4. ובניית אומדן מספרי של ״איכות״ סילבוס נתון לעומת סילבוסים אחרים קיימים.

קורסי קדם:

  • מבני נתונים ואלגוריתמים
  • הסתברות
  • הנדסת תוכנה

דרישות נוספות:

  • למידת מכונה (מומלץ, לא חובה)
  • כריית מידע (מומלץ, לא חובה)

מקורות:

  1. https://opensyllabus.org/
  2. https://galaxy.opensyllabus.org
  3. Hands-On Web Scraping with Python. Anish Chapagain. Packt Publishing, 2019. ISBN 978-1-78953-339-2
  4. Digital Social Research. Giuseppe A. Veltri. Polity; 1 edition, 2019. ISBN 978-1509529308

103 Analysis of multimodal biological information

אנליזה של מידע ביולוגי רב ממדי

שם המנחה: מיכל דנינו
אחראי/ת אקדמי/ת: דר' שחר אלון

הרקע לפרויקט:

Spatial genomics is a new field that seeks to map the physical position of millions of RNA molecules in cells and tissues and correlate them to normal and pathological conditions.

Our lab has generated extensive data that contain the spatial distribution of the RNA molecules within neurons.

For the first time, we characterized both the expression levels and subcellular localization of the transcriptome within single neurons in different cellular compartments (e.g. dendrites, soma, or spines).

Importantly, only a few computational methods yet exist to analyze this type of complex data, which encode the localization and expression of millions of individual transcripts in a tissue section. Even the handful of methods that do exists were created for 2D datasets, and not 3D.

מטרת הפרויקט:

The aim of this project is to develop new analysis tools for this unique multimodal spatial data.

The output will be detection of RNA molecules that might be related to learning and memory processes.

תכולת הפרויקט:

We will start by adapting to 3D the few existing computational methods so that co-localization and differential expression of RNA molecules could be detected in the tissue.

The resulting dataset will first be characterized in general lines: what portion of the RNA molecules are restricted to axons and dendrites, and what is the RNA composition of individual synapses.

As long term synaptic plasticity is realized by local synthesis of proteins from mRNA at the synapse, the subcellular location and identity of RNA is crucial for understanding of learning and memory.

We will examine how similar or dissimilar is the RNA content of individual synapses of the same neuron.

קורסי קדם:

  • מבוא לביולוגיה למהנדסים

דרישות נוספות:

  • מדעי נתונים ביולוגים

מקורות:

  1.  Expansion Sequencing: Spatially Precise In Situ Transcriptomics in Intact Biological Systems

504 Source localization by a satellites system

איכון על ידי מערכת לוויינים

שם המנחה: הודיה הלוי
אחראי/ת אקדמי/ת: דר' איציק ברגל

הרקע לפרויקט:

איכון על ידי לוויינים מתבצע על כל צעד ושעל בדורות האחרונים. החל מאפליקציות בתחום האזרחי כמו waze, ממשיך באפליקציות לצורכי אבטחה וכלה באפליקציות בידוריות, כגון פוקימון גו. בלב מערכת כזו, קיים בדרך כלל אלגוריתם איכון על ידי לוויינים. בפרוייקט ניישם אלגוריתם מסוג זה.

מטרת הפרויקט:

מטרת הפרוייקט היא כתיבת קוד מטלב המדמה איכון על ידי רשת לוויינים בעזרת משערך נראות מירבית.

תכולת הפרויקט:

הסטודנטים יידרשו ללמוד את שיטות האיכון השונות ואת משערך הנראות המירבית. לאחר מכן, יידרשו לסמלץ מטרה על פני כדור הארץ ואיכון שלה בזמן על ידי מערכת לוויינים הנעה בחלל.

קורסי קדם:

  • תקשורת ספרתית 1

דרישות נוספות:

  • רצוי לקחת במקביל ניתוח סטטיסטי של מידע.

מקורות:

  1. Solution and performance analysis of geolocation by tdoa

505 Moving network localization

איכון רשת סנסורים בתנועה

שם המנחה: הודיה הלוי
אחראי/ת אקדמי/ת: דר' יאיר נועם

הרקע לפרויקט:

כיום מערכות חיישנים נמצאות בכל תחום. בתחום הצבאי כמובן, ניטור תנועה (waze) ואפילו בתחומי חקלאות חכמה. בחלק ניכר ממערכות אלו, מיקומי חלק מהחיישנים לא ידועים ובדרך כלל משתנים בזמן, כלומר חיישנים בתנועה. בפרוייקט זה נממש מערכת חיישנים ונשערך את מיקומם תוך כדי תנועה.

מטרת הפרויקט:

התוצר הסופי בפרוייקט זה הוא קוד מטלב המדמה שיערוך מיקומי החיישנים ברשת, כאשר השיערוך משתנה תוך כדי תנועת החיישנים. השיערוך יתבצע בעזרת משערך נראות מירבית ויכלול הערכת ביצועים.

תכולת הפרויקט:

הסטודנטים יידרשו ללמוד את שיטות האיכון השונות ואת משערך הנראות המירבית. לאחר מכן, יידרשו לסמלץ מערכת חיישנים הנמצאים בתנועה ולשערך את מיקומם המשתנה בזמן. לאחר מכן, יידרשו הסטודנטים לבדוק את ביצועיהם ביחס לחסמים ידועים.

קורסי קדם:

  • תקשורת ספרתית 1

דרישות נוספות:

  • רצוי לקחת במקביל ניתוח סטטיסטי של מידע.

מקורות:

  1. A. Agarwal, H. Daumé, J. M. Phillips and S. Venkatasubramanian, "Sensor Network Localization for Moving Sensors," 2012 IEEE 12th International Conference on Data Mining Workshops, Brussels, 2012, pp. 202-209, doi: 10.1109/ICDMW.2012.123.

104 Process mining and epidemic learning

כריית תהליכים ולמידת מגיפות

שם המנחה: ד"ר איציק כהן
אחראי/ת אקדמי/ת: ד"ר איציק כהן

הרקע לפרויקט:

חשיבות ניטור וחיזוי מהיר של מגיפות הודגש מאוד בתקופה האחרונה. פרויקט זה יעסוק ביישום ופיתוח כלי חיזוי מבוססי נתונים ולמידה

מטרת הפרויקט:

להשתמש בנתונים יחד עם גישות של כריית נתונים, כלים מתחום הסטטיסטיקה ותורת האינפורמציה בכדי לפתח גישות לניטור, וחיזוי של מגיפה.

תכולת הפרויקט:

  1. עיבוד בסיס נתונים, ניקוי והכנת המידע.
  2. מידול תהליכי ההדבקה באמצעות הנתונים.
  3. שימוש באלגוריתמים ושיטות מתחום הסטטיסטיקה ותורת האינפורמציה בכדי לזהות את הפעילויות והתהליכים המדבקים.
  4. איפיון אוכלוסיות ותהליכי הדבקה.
  5. חיזוי תהליכי הדבקה.

קורסי קדם:

  • סטטיסטיקה והסתברות, רצוי (אבל לא חובה)
  • קורס מבוא ללמידת מכונה

מקורות:

יועבר בפגישה

310 Vital signs detection behind barrier using RF radiation with Cellular WiFi

חישת אותות חיים מאחורי קיר בתדרי RF בהפעלת Cellular Wifi ואלגוריתמיקת ספקל

שם המנחה: פרופ. זאב זלבסקי, אוהד משולם
אחראי/ת אקדמי/ת: פרופ' זאב זלבסקי

הרקע לפרויקט:

באמצעות אלגוריתמיקת ספקל ניתן לחוש תנודות מיקרוסקופיות הן באמצעות מערכת אופטית והן באמצעות קרינת RF.

בפרויקט זה נמחיש זיהוי אותות חיים מעבר לקיר באמצעות מערכת מבוססת WiFi סלולרי.

מטרת הפרויקט:

לימוד אלגוריתמיקת ספקל, הבנה בגלים ושדות א"מ בקרינת RF, מימוש מערכת עם מספר מקלטים ומשדרים, פיתוח לאנדרואיד, פיתוח ממשק הפעלה - קוד תוכנה, בניית דאטה בייס לניתוח וזיהוי תדרי נשימה ודופק

תכולת הפרויקט:

  • הקמת סט אפ והכנות ציוד
  • פיתוח קוד הפעלת מקמ"ש סלולרי
  • פיתוח קוד לבניית דאטה-בייס
  • ביצוע ניסויים
  • עיבוד נתונים והצגת הוכחת התכנות
  • הרחבת הניסויים לתרחישים שונים
  • בחינת פיזור אנטנות קולטות במרחקים שונים
  • סיכום תוצאות ועריכת דו"ח

קורסי קדם:

  • אופטיקה
  • שדות א"מ
  • שפת C

דרישות נוספות:

  • כתיבת קוד לאנדרואיד

מקורות:

tbd

230 Side-Channel attack on cryptographic systems using frequency domain methods

ביצוע התקפות חומרה באמצעות זליגת מידע דרך ערוץ צד באמצעות זיהוי מאפיינים במרחב התדר

שם המנחה: יואב ויצמן
אחראי/ת אקדמי/ת: יואב ויצמן

הרקע לפרויקט:

אלגוריתמים קריפטוגרפים מבוססים על מספר פעולות לינאריות ולא לינאריות המבוצעות על המידע ומפתח סודי. אלגוריתמים אלה נחשבים בטוחים מאוד מבחינה אנליטית, אך נמצא שניתן לפרוץ אותם ביעילות באמצעות התקפות המנצלות זליגת מידע דרך ערוץ צד (כגון מדידת הספק או פליטה אלקטרומגנטית). התקפות המבוססות על מדידת ערוצי הצד, דורשות סנכרון של פעולות ההצפנה בין הכניסות השונות, ולכן, קיימות הגנות המקשות על התוקף לחלץ מידע באופן אפקטיבי.

מטרת הפרויקט:

מטרת הפרוייקט לנתח את המאפיינים המחזוריים בספקטרום האות הנמדד וזיהוי מאפיינים המאפשרים סינכרון של האות הנמדד במערכת המדידה.

תכולת הפרויקט:

הפרוייקט כולל בניית מערכת נסיונית של התקפת הספק על מערכת הצפנה הממומשת על רכיב FPGA וביצוע מדידות של האות הזולג. לאחר המדידה יש לבצע איפיון סטטיסטי של האות תוך סינון רעשים אלגוריתמיים ואקראיים, וחילוץ מאפייני התזמון המאפשרים התקפה. לבסוף נממש מנגנוני הגנה שונים שמטרתם לסכל את ההתקפה ונבחן את יעילותם של מנגנונים אלה כנגד תוקפים המסוגלים לבצע אנליזת תיזמון יעילה.

קורסי קדם:

  • התקפות על מערכות חומרה

315 Life signs detection using mobile Wifi with speckle algorithm

חישת אותות חיים מאחורי קיר בתדרי RF בהפעלת Cellular Wifi ואלגוריתמיקת ספקל

שם המנחה: אוהד משולם
אחראי/ת אקדמי/ת: פרופ' זאב זלבסקי

הרקע לפרויקט:

היכולת לזהות תנודות קטנות באמצעות אינטרפרומטריה, ושיטות ספקל משולבות עיבוד אות הוכחה בתחום האופטי מזה שנים. לאחר הוכחת היכולת להפעילה בתדרי RF מוצע פרויקט למימוש כלי זיהוי מבוסס מכשיר סלולרי, באמצעות אנטנות שונות, WiFi, BT, NFC ואף cellular radiation, היינו תדרי GSM. בעזרת מימוש הטכנולוגיה במכשיר נגיש יתאפשר ביצוע מחקר נרחב בתחומים שונים בהמשך.

מטרת הפרויקט:

יכולת להשתמש במכשיר סלולרי נייד, כאנטנה המופעלת סימולטנית על מכשירים נוספים לצורך זיהוי תנודות ננו-מטריות מרחביות, ובפרט מאחורי קירות.

תכולת הפרויקט:

כתיבת קוד (C++) לאנדרואיד, ואף התערבות ב- Firmware, הבנת ארכיטקטורת אנדרואיד על מנת להשתלט על האנטנות שלו, התערבות במערכת ההפעלה, הן ע"י rooting או דרך ה-FW, על מנת לנטרל את שימוש האנטנות לצורך הזיהוי, עבודה מול גוגל קלאוד להפעלה סימולטנית עם time stamp, הקלטת ושידור טבלאות אמפליטודה ופאזה למחשב חיצוני, עיבוד נתונים, בניית ממשק ניתוח במטלב, מימוש אלגוריתמיקת ספקל, ביצוע ניסויים שונים, בתרחישים שונים, מיקום אנטנות שונה, בניית דאטה בייס נרחב, ובהמשך מימוש קוד אוטומטי להרצת זיהוי ב real-time.

קורסי קדם:

  • אלקטרואופטיקה
  • שפת תכנות
  • מערכות הפעלה
  • עיבוד אות

דרישות נוספות:

  • יתרון לידע באנדרואיד
  • תכנות במטלב

מקורות:

ינתנו בהמשך

608 Speech synthesis

סינתזת דיבור

שם המנחה: Zvi Lotker
אחראי/ת אקדמי/ת: פרופ' צבי לוטקר

הרקע לפרויקט:

סדרות טלוויזיה מוצלחות כמו חברים והמפץ הגדול רצות במשך שנים רבות. במהלך הפרויקט אנו נבצע אנליזה ולאחר מכאן סינתזה קול של לדמויות המרכזיות בסדרות. היתרון בלעבד סדרות הוא כמות המידע שיש לנו על כל דמות.

מטרת הפרויקט:

לבנות מכונה המסוגלת ליצר דובר מלכאותי בקול של שחקן מרכזי בסידרה טלויזיה

תכולת הפרויקט:

  • זיהוי הנאמר בקטע: בין אם מדובר בקטע וידאו או קטע קול יש להבין את הנאמר בקטע. על מנת לבצע זאת קיימים אמצעים בשפות השונות כגון matlab ,wolfram mathematica,python המבצעים פונקציה זו.
  • יצירת "מילון" המותאם לאדם: זיהוי כל המילים אותם אמר דובר מסוים ותיוגם בלקסיקון האישי של אותה הדמות. לאחר מכן, ביצירת הקול להשתמש בדפוסי דיבור המזוהים עם הקול יחד עם המילה. במילון ישמרו נתונים כגון האינוטציה של המילה, כמות הזמן שלקח לאדם לאמר אותה, עוצמת הקול בתחילת המילה ובסופה ועוד.
  • מימוש הדובר הסינטתי הסופי: לאחר בניית המילון יהיה עלינו לבנות את הדובר הסינטתי הסופי המשתמש במילון ומסדיר את המילים כמשפט קוהרנטי. על הדובר לשלב את המילים תוך יצירת "רגש" אחיד במשפט.

קורסי קדם:

  • קורס בלמידת מכונה במקביל לפרויקט

דרישות נוספות:

  • למידת מכונה
  • עיבוד קול.

מקורות:

  1. M. Tachibana, J. Yamagishi, K. Onishi, T. Masuko and T. Kobayashi “HMM-Based Speech Synthesis with Various Speaking Styles Using Model Interpolation
  2. F. Burkhardt and N. Campbell “Emotional Speech Synthesis
  3. T. Sainath, B. Kingsbury, B. Ramabhadran, P. Fousek, P. Novak, and A. Mohamed “Making deep belief networks effective for large vocabulary continuous speech recognition
  4. K. Vesely, L. Burget, and F. Grezl “Parallel Training of Neural Networks for Speech Recognition
  5. K. Tokuda, H. Zen, and A.W. Black “An HMM-based Speech Synthesis System Applied To English”