פרויקטי גמר שנה"ל תשע"ט - עיבוד אותות

401 Cellular radiation analysis for reflection detection

ניתוח אותות סללולר לזיהוי החזרים

שם המנחה: פרופ' מאיר דנינו

אחראי אקדמי: פרופ' זאב זלבסקי

תיאור הפרויקט ותכולתו:

זיהוי עצמים מתכתיים או עצמים מחזירי קרינה אלקטרומגטית המוסתרים בחדר או תוך שימוש במערכת פאסיבית, כלומר באמצעות שימוש במקלטים בלבד.

מקור הקרינה האלקטרומגנטית נמצא באיזור העצמים עצמם אשר נדרש לזהותם. (למשל, טלפון סלולרי בתוך חדר סגור)

אנטנות הקליטה מרוחקות ביניהן כך שתהיה לנו רזולוציה מספיק טובה להבחין בהפרש זמני ההגעה של האות להדקי 2 האנטנות (3 ננושניה למרחק של 1 מטר באוויר)

האלגוריתמיקה תמומש ע"י כתיבת קוד במאטלאב המתבסס על חישוב הפרשי זמן ההגעה של האותות השונים המתקבל מתוך ניתוח פונקצית האוטוקורולציה של האות הדגום הכולל את הפיזורים השונים.

תכולת עבודה:

  1. ניתוח הדגימות באמצעות אוטוקורלציה לצורך מציאת פיק הקורלציה עבור מקרה שאין הסתרות
  2. ניתוח הדגימות כנ"ל לצורך מציאת פיק הקורלציה עבור מקרה שיש הסתרות
  3. חישוב הפרשים בזמני הגעה לצורך מציאת המיקום המרחבי (פיקסל בודד)
  4. הפרדת בהחזרים בעלי סדר הפרדה שונה על מנת לקשור בין פיקסלים
דרישות:

קווי תמסורת ומערכות מיקרוגלים

402 Wind noise reduction using neural network 

ביטול רעשי רוח ע"י רשת נוירונים

שמות המנחים: שלומי חזן וד"ר עופר שוורץ 

אחראי אקדמי: פרופ' שרון גנות

תיאור הפרויקט ותכולתו:

In outdoor recording setups, wind noise is generated when
a gust of wind creates a turbulence in close proximity of the
microphone membrane. It poses a severe problem in that
the quality of the picked up speech signal may be degraded
and the intelligibility strongly reduced, with the person
conducting the recording often even unaware of these adverse
conditions. Traditional ambient noise
reduction setups may fail, since the disturbance created by wind turns out
to be very unpredictable and highly nonstationary.
Neural networks approach might be a beneficial strategy to enhance such a noisy sound track.

במסגרת פרויקט זה הסטודנטים יחשפו לעולם הmachine learning בכלל ובפרט לעולם רשתות ניורונים לצורך עיבוד אותות דיבור.
פיתוח אלגוריתם ב- Matlab.
ניסויים על הקלטות אמיתיות בסביבה עם רעשי רוח.
אופציונאלי: הערכת ביצועים ע"י שימוש בתוכנת זיהוי דיבור מתקדמת.

הפרוייקט בשיתוף עם התעשייה

דרישות:

DSP2, למידה עמוקה, מבוא למכונת למידה

מקורות:
  1. Thuene, Philipp, and Gerald Enzner. "Maximum-likelihood approach to adaptive Multichannel-Wiener postfiltering for wind-noise reduction." Speech Communication; 12. ITG Symposium; Proceedings of. VDE, 2016.‏
  2. Nelke, Christoph Matthias, et al. "Single microphone wind noise reduction using techniques of artificial bandwidth extension." Signal Processing Conference (EUSIPCO), 2012 Proceedings of the 20th European. IEEE, 2012.‏
  3. Nelke, Christoph M., and Peter Vary. "Wind noise short term power spectrum estimation using pitch adaptive inverse binary masks." Acoustics, Speech and Signal Processing (ICASSP), 2015 IEEE International Conference on. IEEE, 2015.‏
  4. Lee, K. Kim, T. Shabestary and H. G. Kang, "Deep bi-directional long short-term memory based speech enhancement for wind noise reduction," 2017 Hands-free Speech Communications and Microphone Arrays (HSCMA), San Francisco, CA, 2017, pp. 41-45.
     

403 Source separation using microphone array and DNN

הפרדת דוברים באמצעות מערך מיקרופונים ורשתות נוירונים

שם המנחה: שלומי חזן

אחראי אקדמי: פרופ' שרון גנות

תיאור הפרויקט ותכולתו:

בחדר דיונים פעמים רבות מספר דוברים פעילים בו זמנית. בפרויקט זה נפריד את הדוברים באמצעות מעצב אלומה המאפשר התמקדות באחד הדוברים בכל פעם. מעצב האלומה בנוי משני אבני בניין עיקריים. הראשון שערוך הסטטיסטיקה של הרעש בחדר. והשני שערוך מטריצת ה-RTF. לצורך עדכון הפרמטרים בשני אבני הבניין, נשתמש ברשתות נוירונים מלאכותיות.

במסגרת פרויקט זה הסטודנטים יחשפו לעולם הmachine learning- וה Beamforming -.

דרישות:

DSP2, למידה עמוקה, מבוא למכונת למידה.

מקורות:

S. E. Chazan, J. Goldberger, and S. Gannot, “DNN-based concurrent speakers detector and its application to speaker extraction with LCMV beamforming,” in IEEE International Conference on Audio and Acoustic Signal Processing (ICASSP), Calgary, Alberta, Canada, Apr. 2018

404 Audio Center

מערכת לאיסוף ועיבוד אות שמע

מנחים: פיני טנדייטניק ודני צ'רקסקי

אחראי אקדמי: פרופ' שרון גנות

תיאור הפרויקט ותכולתו:

פרויקט זה עוסק עוסק באיסוף מידע ממגוון רחב של חישני אודיו והזרמתו למחשב האישי או לאנדרואיד. מקורות האודיו האפשריים ברשת הם:

  • מחשבים נידים
  • מכשירי אנדרואיד
  • DSP BOARD
  • TI WiFi Audio Device


המידע יעובד באופן מרוכז באחד המכשירים (למשל במחשב הנייד או באנדרואיד). העיבוד הנדרש כולל סנכרון המידע המגיע מהמכשירים ע"י שינוי קצב דגימה. האותות המסונכרנים יעובדו בהמשך ע"י מעצב אלומה (beamformer) מסוג MVDR לשם הפחתת הרעשים, תוך שמירה על עיוות נמוך של הדיבור הרצוי.

במסגרת הפרויקט הסטודנטים יחשפו לכלי תוכנה מתקדמים על פלטפורמט אנדרואיד (JAVA). כמו כן, יתודעו הסטודנטים לאלגוריתמי עיבוד אותות מרחביים ובזמן.

דרישות:

שליטה ב C ונכונות ללמוד JAVA ו Matlab

מקורות:
  1. SimpleLink™ Wi-Fi® and Internet-of-Things, Single-Chip Wireless MCU Solution , http://www.ti.com/product/cc3220
  2. D. Cherkassky and S. Gannot, “Blind synchronization in wireless acoustic sensor networks,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 25, no. 3, pp. 651-661 , Mar. 2017.

405 Inference of interactions from protein sequences dataset

הסקה סטטיסטית של אינטראקציות בין חלבונים

מנחים: ד"ר תמר פרידלנדר (האוניברסיטה העברית) ופרופ' שרון גנות

אחראי אקדמי: פרופ' שרון גנות

תיאור הפרויקט ותכולתו:

Background:

Many biological functions depend on specific molecular recognition, where a particular protein recognizes a specific partner out of many. This specificity often depends on a very small part of the protein, where minor modifications can change interaction partners, dampen or amplify interactions. In order to experimentally manipulate interactions, it is crucial to identify the particular protein positions that determine interaction specificity. As often the 3D structures of the proteins are not known, computational inference based on the sequences alone is very helpful as a guideline.

The new Friedlander group is an inter-disciplinary research lab. We study the evolution of “self-incompatibility”: a mechanism that reduces self-fertilization and promotes genetic diversity in plants. This mechanism exists in many domesticated plants, for example fruit trees (apple, pear, almond etc.) and thus has major implications on their yield. The mechanism is based on a network of few dozens of proteins (in the whole population), where each individual plant has only a subset of these proteins. Fertilization is enabled (or disabled) depending on specific molecular recognition between the proteins expressed in the male and female sides.

Project: The goal of the project is to infer the specific amino acids in the protein dataset that determine the specific molecular recognition between these proteins. Inference will be based only on the known sequences of these proteins (no 3D structures!) and experimental information on interacting and non-interacting protein pairs. The students will begin by learning and implementing existing inference algorithms and apply them to our data. Current algorithms are based for example on covariance and information theoretic methods. Later on the students will derive their own inference algorithm specifically tailored to the unique features of our data.

What will you learn: Students that will undertake this project will learn basic theoretical concepts of various inference methods which are applicable to a broad range of data analysis problems. These include Bayesian inference, information theoretic methods, usage of message passing algorithms for inference problems as well as hands-on experience in handling data (finite samples, etc.) and gain experience in their application on real datasets.

Is it for me? We are seeking excellent students with keen interest in basic theoretical research. Upon mutual interest, this project can continue into an MSc thesis and has high potential to lead to a scientific publication.

דרישות:
  • אלגוריתמים סטטיסטיים לעיבוד אותות
  • ניתוח סטטיסטי של מידע
  • ידע מוקדם בביולוגיה לא נדרש
מקורות:
  1. Burger and van Nimwegen, “Accurate prediction of protein–protein interactions from sequence alignments using a Bayesian method”, Molecular Systems Biology (1) 165, 2008, http://msb.embopress.org/content/4/1/165. (Read model details: p.1-3, 11-13).
  2. White et al. “Features of protein-protein interactions in two component signaling…”, Methods in Enzymology, 422: 75-101, http://www.sciencedirect.com/science/article/pii/S0076687906220044 (Read p. 6-12 of the file).

406 Source separation and localization using model-based EM algorithm

הפרדה ואיכון של דוברים על ידי שימוש באלגוריתם EM מבוסס מודל

מנחה: קובי ויסברג

אחראי אקדמי: פרופ' שרון גנות

תיאור הפרויקט ותכולתו:

בפרויקט זה יממשו הסטודנטים אלגוריתם לאיכון והפרדה של דוברים תוך שימוש באלגוריתם EM מבוסס מודל סטטיסטי. באמצעות אלגוריתם ה-EM ניתן לבצע אישכול (clustering) של המדידות ממערך המיקרופונים במישור הSTFT בהתבסס על הפרשי ההגעה והפרשי העוצמה בין המיקרופונים, כך שכל אשכול מתאים למיקום ספציפי במרחב

  1. תוצאות האיכון ישמשו להכוונת מעצב אלומה (beamformer) לשם הפרדת האותות
  2. אלגוריתמים אלה שימושיים במיוחד בהקניית יכולות "שמיעה מרחבית" לרובוטים.


הסטודנטים יממשו האלגוריתמים במטלב (ו/או בפלטפורמת חומרה ליישומי זמן-אמת), יבצעו סימולציות, ולבסוף יבחנו הביצועים בעזרת הקלטות אמיתיות הכוללות מספר דוברים במיקומים שונים במרחב.

תכולה:

במסגרת פרויקט זה הסטודנטים יחשפו לעולם שערוך הפרמטרים, עיבוד אותות מרחבי ולמידת מכונה

דרישות:
  • אלגוריתמים סטטיסטיים לעיבוד אותות
  • עיבוד ספרתי 2 (במקביל)
מקורות:
  1. Mandel, Michael I., Ron J. Weiss, and Daniel PW Ellis. "Model-based expectation-maximization source separation and localization." IEEE Transactions on Audio, Speech, and Language Processing 18.2 (2010): 382-394.‏
  2. Michael I Mandel, Jon P Barker, “Multichannel spatial clustering for robust far-field automatic speech recognition in mismatched conditions,” INTERSPEECH 2016.

407 Deep Feature Inspection – Opening the DNN Black-Box

פיתוח כלי בקרה וניתוח לרשתות נוירונים עמוקות

מנחה: ערן גולדמן

אחראי אקדמי: פרופ' יעקב גולדברגר

תיאור הפרויקט ותכולתו:

Convolutional Network Networks (CNN) have demonstrated impressive classification performance on various datasets. However, there is no clear understanding of why they perform so well, and more importantly, why they fail in some cases and how they might be improved. There is a growing sense that neural networks need to be interpretable to humans. The field of neural network interpretability has formed in response to these concerns. As it matures, two major threads of research have begun to coalesce: feature visualization and attribution.

Feature visualization answers questions about what a network — or parts of a network — are looking for by generating examples.

Attribution studies what part of an example is responsible for the network activating a particular way.

In this project, we will create CNN “debugging” tools, which analyze the behavior of deep CNNs trained for large-scale fine-grained classification.

The tools should measure and visualize the network response to various signals in different layers, channels and neurons, as well as the change in the network response to modified versions of the input signal where some of the input data is deliberately masked, in order to study sample attribution.

Used as a diagnostic tool, the network debugger should give insight into the function of intermediate feature layers and the operation of the classifier, and will also be integrated in a training dashboard to visualize the progress of the training process.
 

דרישות:
  • ידע מוקדם בלמידת מכונה, למידה עמוקה וראיה ממוחשבת 
  • שליטה ב- python ובספריות NumPy, TensorFlow, Keras (ניתן ללמוד באופן עצמאי לקראת תחילת שנת הלימודים בהכוונת המנחה)
  • נכונות לעבודה מאומצת
מקורות:
  1. Zeiler, Matthew D., and Rob Fergus. "Visualizing and understanding convolutional networks." European conference on computer vision. Springer, Cham, 2014.
  2. Olah, et al., "Feature Visualization", Distill, 2017. https://distill.pub/2017/feature-visualization/

408 Deep Price Recognition – OCR of decimal numbers with numerical value loss

זיהוי מחירים מתוך תמונות על פי ערך מספרי באמצעות למידה עמוקה

מנחה: ערן גולדמן

אחראי אקדמי: פרופ' יעקב גולדברגר

 

תיאור הפרויקט ותכולתו:

Optical character recognition (OCR) is the conversion of images of typed, handwritten or printed text into machine-encoded text.

Classical OCR methods attempt to detect and identify each character individually using pattern matching techniques. Advanced OCR methods also apply probabilistic models over the character sequences to improve accuracy. Recent studies combined deep CNNs and received impressive results performing OCR in the wild. Some application-specific methods were developed to optimize OCR performance in specific domains such as reading license plates or ID cards.

In this project, we investigate a challenging domain of OCR optimized for price recognition.

We are given price tag patches, cropped from on-site store display images, which contain decimal representations of prices. Our goal here is to learn the pricing values in a supervised manner, where the training objective should minimize estimation errors in terms of numerical distance between the true values and the estimated values. For example: the error between 10.00 and 9.99 is ~0.; the error between 10.00 and 1000 is ~990. Hence, some minor visual mistakes such as misreading the decimal point or incorrectly placing the left-most digit may cause enormous errors. In this work, we need to develop a novel customized OCR method, whose architecture and loss function are tailored to minimize the numeric error of the decimal value rather than solely rely on digit visual similarities.
 

דרישות:
  • ידע מוקדם בלמידת מכונה, למידה עמוקה וראיה ממוחשבת 
  • שליטה ב- python ובספריות NumPy, TensorFlow, Keras (ניתן ללמוד באופן עצמאי לקראת תחילת שנת הלימודים בהכוונת המנחה)
  • נכונות לעבודה מאומצת
מקורות:
  1. Goodfellow, Ian et al. "Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks." Ye, Qixiang, and David Doermann. "Text detection and recognition in imagery: A survey." IEEE transactions on pattern analysis and machine intelligence 37.7 (2015): 1480-1500.
  2. Lee, Chen-Yu, and Simon Osindero. "Recursive recurrent nets with attention modeling for ocr in the wild." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

409 Blind source separation with Deep Clustering

הפרדת דוברים באמצעות Deep Clustering

מנחה: שלומי חזן

אחראי אקדמי: פרופ' שרון גנות

תיאור הפרויקט ותכולתו:

We address the problem of acoustic source separation in a deep learning framework denoted “deep clustering”. Rather than directly estimating signals or masking functions, a deep network is trained to produce spectrogram embeddings that are discriminative for partition labels given in training data. Spectral clustering approaches are flexible with respect to the classes and number of items to be segmented, but till recently it has been unclear how to leverage the learning power and speed of deep networks. The framework can be used without class labels, and therefore has the potential to be trained on a diverse set of sound types, and to generalize to novel sources.

דרישות:
  • חומר רקע בלמידה עמוקה יסופק.
  • DSP2
  • מבוא ללמידת מכונה
מקורות:

https://arxiv.org/pdf/1508.04306.pdf

410 Speech dereverberation using fully convolutional networks (deep learning)

ביטול הדהוד באמצעות רשתות קונבולוציה מלאות

מנחה: אורי ארנסט

אחראי אקדמי: פרופ' שרון גנות

תיאור הפרויקט ותכולתו:

הדהוד היא תופעה הנגרמת כתוצאה ממעבר של אות דיבור במרחב האקוסטי של החדר. בעקבות ההחזרים מהקירות נוצרים עיוותים באות שמהווים קושי גדול לבעלי בעיות שמיעה, וכן מורידים משמעותית את ההצלחה של מערכות זיהוי דיבור. בפרויקט זה נבצע ביטול הדהוד באמצעות רשתות נוירונים. בשיטה זו ניקח בהשאלה אלגוריתמים מעולם עיבוד התמונה וסגמנטציה של תמונות, נתייחס לאות הדיבור שלנו כאל תמונת הספקטורגרמה, ונשתמש באלגוריתם לצורך ביטול הדהוד.

במסגרת פרויקט זה הסטודנטים יחשפו לעולם הmachine learning- וה dereverberation -.

דרישות:
  • DSP2
  • למידה עמוקה
  • מבוא למכונת למידה
מקורות:

O. Ernst, S. E. Chazan, S. Gannot & J. Goldberger, Speech Dereverberation Using Fully Convolutional Networks. EUSIPCO Sep. 2018‏