פרויקטי גמר - הנדסת מחשבים - המעבדה לעיבוד וניתוח נתונים תשפ"ג

801 Prediction of stocks performance using constrained based classification methods

חיזוי ביצועי מניות באמצעות שימוש באלגוריתמי סיווג תלויי אילוצים

שם המנחה: גונן זינגר
אחראי/ת אקדמי/ת: דר' גונן זינגר

הרקע לפרויקט:

תהליכי חיזוי וסיווג בסביבות מוגבלות במשאבים הינה בעיה ידועה. לאחרונה פותחה גישה שמשלבת את מגבלת המשאבים כחלק מתהליכי הלמידה של מודלי סיווג. הפרויקט המוצע מציע יישום לחיזוי ביצועי מניות בסביבה מוגבלת במשאבים, כלומר ניתן לבחור במספר סופי וידוע מראש של מניות על פי מגבלת התקציב.

מטרת הפרויקט:

במסגרת הפרויקט יבוצע תהליך איסוף נתונים פנדמנטליסטים וטכניים אודות שוק המניות האמריקאי (נסדאק) ממקורות שונים ברמה יומית (איסוף רציף). יבוצע תהליך עיבוד מקדים לחיבור מקורות המידע השונים והכנתו לבעיית חיזוי ביצועי המניות. כמו כן יופעלו ויותאמו אלגוריתמים מבוססי עצי החלטות (Constrained based random forest, decision tree random forest etc) לפתרון בעיית החיזוי כאשר תקציב ההשקעה מוגבל ומגדיר את מספר המניות להשקעה.

תכולת הפרויקט:

  1. איסוף נתונים ממקורות שונים שכולל עבור שוק המניות האמריקאי נסדאק.
  2. חיבור מקורות המידע וביצוע תהליך עיבוד מקדים והעשרת מידע.
  3. יישום אלגורתמים מבוסיי עצי החלטות בסביבה מוגבלת בתקציבים.
  4. הערכת ביצועים של אלגוריתמים וולידציה בתנאי שוק משתנים ולאורך זמן.
  5. המלצה על מסגרת השקעה נבחרת שמניבה ביצועים טובים ביותר (Precision) לאורך זמן.

קורסי קדם:

  1. מבוא להסתברות וסטטיסטיקה.
  2. כריית מידע וויזואליזציה של נתונים.

מקורות:

טיוטת מאמר Cost-Sensitive Learning Models with Resource Constraints

802 Adaptive cost-sensitive learning approach for resource constraint based multi-class classification problem

גישת למידה רגישה לעלויות אדפטיבית לסיווג מרובה קלאסים מבוסס אילוצים

שם המנחה: גונן זינגר
אחראי/ת אקדמי/ת: דר' גונן זינגר

הרקע לפרויקט:

בעולם האמיתי קיימים מספר גדול של יישומים עבור סיווג מרובה קלאסים תוך הקצאה של משאבים מוגבלים. לדוגמא סיווג אנשים לרמת חומרה של מחלה (כאשר יש יותר מ-2 רמות) תוך הקצאת תרופות ומשאבים רפואיים מוגבלים. השקעה במניות על פי רמת ביצועים, תוך שימוש בתקציב מוגבל. לאחרונה פותחה גישה לסיווג בינארי מבוסס אילוצים עבור אלגוריתמים מבוססי עצי החלטות. הגישה מתאימה עבור בעיות בינאריות בלבד. מטרת הפרויקט להרחיב את הגישה עבור בעיות מרובות קלאסים.

מטרת הפרויקט:

במסגרת הפרויקט הסטודנטים יפתחו מסגרת עבודה להרחבת השיטה הבינארית לסיווג מוגבל במשאבים לבעיות סיווג מרובות קלאסים. כמו כן יפתחו הסטודנטים קוד בפייתון ליישום של השיטה ולבסוף ישוו את ביצועי השיטה על בסיס נתונים מתאים והשוואה לגישות קונבנציונאליות שהאילוץ נלקח בחשבון לאחר תהליך הלמידה.

תכולת הפרויקט:

  1. הפרויקט יפתח אלגוריתם עבור סיווג מרובה קלאסים מותנה באילוצים.
  2. הסטודנט יקודד בפייתון את האלגוריתם והשיטה עבור עצי החלטות.
  3. הסטודנט יישם את השיטה על בסיס נתונים וישווה את הביצועים לשיטות קונבנציונאליות קיימות.

קורסי קדם:

  1. קורס מבוא להסתברות וסטטיסטיקה.
  2. קורס כריית מידע וויזואליזציה של נתונים.

מקורות:

  1.  טיוטת מאמר Adaptive cost-sensitive learning approach for resource constraint based binary classification problem.
  2. Gutierrez, P.A.; Perez-Ortiz, M.; Sanchez-Monedero, J.; Fernandez-Navarro, F.; Hervas-Martinez, C. Ordinal regression methods: Survey and experimental study. IEEE Transactions on Knowledge and Data Engineering 2015, 28(1), 127-146.‏

803 Visualization of geometric distortion on 3D surfaces

ויזואליזציה של עוות גאומטרי על משטחים תלת ממדיים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

תחום הגרפיקה הממוחשבת הינו תחום מרתק המתפתח בקצב מהיר בשנים האחרונות בעיקר בגלל תעשיית הקולנוע ומשחקי המחשב הגורפות מיליארדי שקלים, אך משמש גם בתחומים רבים נוספים כגון דימות רפואית, תכנון וייצור בעזרת מחשב, הדפסה תלת ממדית וכו'.

אובייקטים בגרפיקה ממוחשבת הינם משטחים בעלי צורה גיאומטרית כלשהיא (למשל גוף או פנים של בן אדם) המיוצגים לרוב על ידי רשת של משולשים זעירים המחוברים זה לזה לאורך קשתות חופפות.

מיפוי בין משטחים הוא אחד הכלים הבסיסיים והחשובים ביותר בתחום של גרפיקה ממוחשבת ועיבוד דיגיטלי של גאומטריה. קיימים אלגוריתמים רבים לחישוב מיפויים בין משטחים. למיפויים האלה יש תכונות גאומטריות והמטרה העיקרית בחישוב מיפוי כזה היא למזער את העיוות הגאומטרי שהינו בלתי נמנע.

בפרויקט זה לא נעסוק באופן ישיר בחישוב של מיפויים בין משטחים אלא נעסוק בהערכת האיכות של מיפויים קיימים. הערכה זו תתבצע על ידי ויזואליזציה גרפית. הפרויקט יעסוק בתכנון ומימוש ויזואליזציה למיפויים מסוגים שונים והשוואה ביניהם.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

  • הפרויקט ידרוש פיתוח של אלגוריתם מורכב לוויזואליזציה של עוות גאומטרי של מיפויים בין משטחים.
  • מימוש האלגוריתם בשפת C++ בשילוב עם כלים גרפיים כמו Maya ותוכנות נוספות כמו Matlab.
  • בדיקה יסודית של תוצאות האלגוריתם על מגוון רחב של מודלים תלת ממדיים והשוואה לשיטות מתחרות.

קורסי קדם:

  • 83656 עיבוד דיגיטלי של גיאומטריה 1. ניתן לקחת במקביל.

קורסים מומלצים (לא חובה וניתן לקחת במקביל):

  • 83654 גרפיקה ממוחשבת.
  • 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.

מקורות:

  1. Polygon mesh processing (book). Botsch, M., Kobbelt, L., Pauly, M., Alliez, P., & Lévy, B. (2010). CRC press.

804 Discrete Conformal Equivalence of Polyhedral Surfaces

שקילות קונפורמית דיסקרטית למשטחים פוליהדרונים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

Polyhedral surfaces are elementary in computer graphics. They are used to represents reallife objects in virtual environments. Mapping such a polyhedral surface to a different domain, for example, to the plane is a fundamental problem in computer graphics and geometry processing. In this project we will learn about special types of maps which preserves angles (conformal maps). We will investigate a discrete notion of angle preservation and will implement an advanced algorithm for computing such maps. For more details see: https://www.cs.cmu.edu/~kmcrane/Projects/CEPS/index.html

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים יצטרכו לקרוא מאמר מתקדם בתחום, ללמוד אותו ביסודיות ולממשו. הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

קורסים: ניתן לקחת במקביל :

  • 83656 עיבוד דיגיטלי של גיאומטריה 1
  • 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.

מקורות:

  1.  https://www.cs.cmu.edu/~kmcrane/Projects/CEPS/index.html
  2.  https://youtu.be/wwuHFUQLlWA

805 Photorealistic Stereographic Rendering of Impossible 3D Objects

רינדור פוטוריאליסטי סטריאוגרפי של אובייקטים תלת מ

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

An impossible image is a 2D image that represents a projection of a 3D object that cannot exist physically in real life. The artist M.C. Escher was a master in drawing such impossible images. In this project, a computer software for modeling such 3D objects and producing impossible image illusions will be created. The main theory is based on a paper by Savransky et al. from 1999. The idea of the project is to extend the algorithm given in the paper such that the rendered images will be photorealistic, creating a stronger illusion for the 3D perception. We will achieve this by supporting stereographic rendering using “3D glasses” like in movie theaters. This creates a stronger depth perception in the viewer’s mind. Additional extensions will be made by using more realistic optical perspective projection and global illumination.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

  • 83654 גרפיקה ממוחשבת.

או

  • - 83656 עיבוד דיגיטלי של גיאומטריה 1.

דרישות נוספות:

ידע בגרפיקה ממוחשבת

מקורות:

  1. http://www.eng.biu.ac.il/~weberof/Escher/index.html
  2. Savransky, Guillermo, Dan Dimerman, and Craig Gotsman. "Modeling and Rendering Escher‐Like Impossible Scenes." Computer Graphics Forum. Vol. 18. No. 2. Oxford, UK and Boston, USA: Blackwell Publishers Ltd, 1999.

806 Anamorphosis

אנמורפוזיס

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

Anamorphosis is a distorted projection requiring the viewer to occupy a specific vantage point, use special devices, or both to view a recognizable image. It is used in painting, photography, sculpture and installation, toys, and film special effects. Extreme anamorphosis has been used by artists to disguise caricatures, erotic and scatological scenes, and other furtive images from a casual spectator, while revealing an undistorted image to the knowledgeable viewer. For more information see:
https://en.wikipedia.org/wiki/Anamorphosis

In this project we will implement algorithms for fabricating real-life objects that give rise to anamorphosis optical illusions. The fabricated objects will be printed using a 3D printer.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים יצטרכו לקרוא מאמר מתקדם בתחום, ללמוד אותו ביסודיות ולממשו. הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

  • 83654 גרפיקה ממוחשבת.

או

  • 83656 עיבוד דיגיטלי של גיאומטריה 1.


דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.


מקורות:

  1. https://en.wikipedia.org/wiki/Anamorphosis
  2. https://dl.acm.org/doi/10.1145/2661229.2661267
  3. https://www.sciencedirect.com/science/article/pii/S0167839616300826?via%3Dihub
  4. https://disegno.unioneitalianadisegno.it/index.php/disegno/article/view/232/414
  5. https://link.springer.com/content/pdf/10.1007/s00004-015-0239-7.pdf
  6. https://link.springer.com/content/pdf/10.1007/s00004-016-0302-z.pdf

807 Differentially Private Clustering Algorithms

אלגוריתמי קלאסטרינג פרטיים

שם המנחה: Or Sheffet
אחראי/ת אקדמי/ת: ד"ר אור שפט

הרקע לפרויקט:

Differential privacy has been established in recent years as the "de-facto" gold standard of privacy preserving data analysis. In this project the students are expected to read, understand, implement and test a differentially private algorithm for locating a cluster / multiple clusters in a given dataset of points in the Euclidean space.

מטרת הפרויקט:

This project is centered around the problem of private data clustering. The students are expected to implement randomized algorithms that deal with clustering, including: noisy counting, above-threshold, locally-sensitive hashing, and randomly chosen axes.

Furthermore, the students are expected to test and compare the performance of said algorithms over multiple datasets.

Academically, the goal of the project is to have the students acquainted with differential privacy (DP) and the high-level ideas of differential privacy, as well as the technical difficulties that arise from the promise of DP.

Practically, the goal is to publish the project's code online, available for researchers world-wide.

תכולת הפרויקט:

The project's main focus is on understanding and implementing a scientific paper in differential privacy.

The project is based on 3 stages:

  1. reading and understanding existing work,
  2. implementation of algorithms in code and
  3. 3.testing empirical performance over synthetic / real-life data.

The main focus of the project is the 1-cluster algorithm of Nissim and Stemmer, composed of multiple building blocks.

The students are required to implement each of these subroutines and then wrap it all together in an algorithm of bounded privacy lose (i.e. a (\epsilon,\delta)-DP algorithm).

קורסי קדם:

  • 83224- מבני נתונים ואלגוריתמים 2
  • 83216- מבוא להסתברות וסטטיסטיקה
  • 83908- פרטיות דפרנציאלית (המומלץ)

מקורות:

  1. arxiv.org/pdf/1804.08001
  2. arxiv.org/pdf/1707.04766
  3. www.cis.upenn.edu/~aaroth/Papers/privacybook.pdf

808 Translating abdominal ultrasound scans to equivalent CT scans

סריקות אולטרסאונד אבדומינליות (אזור הבטן) לסריקות CT מתאימות

שם המנחה: ד"ר תמר קשתי, ד"ר מירב גלון (מכון וויצמן)
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

אולטרסאונד רפואי הוא שיטת הדמיה רווחת בשל עלות נמוכה, ניידות, מהירות והיעדר קרינה מייננת מזיקה. למרבה הצער, האיכות של סריקות אולטרסאונד רפואיות נופלת מאמצעי דימות רפואי אחרים : גלי הקול אינם חודרים עצמות, ומופרעים בנוכחות גזים (דוגמת אלו הקיימים במערכת העיכול). לטומוגרפיה ממוחשבת (CT), לעומת זאת, יש איכות תמונה טובה יותר אך מייצרת קרינה מייננת, מחירה גבוה יותר והיא פחות זמינה מאולטרסאונד.

מטרת הפרויקט:

בהינתן תמונת אולטרסאונד (2D), ניצור את תמונת ה-CT המקבילה (2D) המשמרת מידע רפואי חשוב: איברים, רקמות ועצמות. תרגום התמונות יעשה באמצעות שיטות למידה עמוקה.

תכולת הפרויקט:

  • סקירה ספרותית ולמידת השיטות הקיימות בתחום.
  • ביצוע תהליך עיבוד מקדים לתמונות (ניקוי רעשים, התאמה למודל).
  • ניסוי שיטות שונות מתחום הלמידה העמוקה והשוואת התוצאות.

קורסי קדם:

  • מבוא ללמידת מכונה (ילקח במקביל לפרויקט).

מקורות:

  1. Yi, Xin, Ekta Walia, and Paul Babyn. "Generative adversarial network in medical imaging: A review." Medical image analysis 58 (2019): 101552. https://www.sciencedirect.com/science/article/pii/S1361841518308430?via%3Dihub
  2. Vedula, S., Senouf, O., Bronstein, A. M., Michailovich, O. V., & Zibulevsky, M. (2017). Towards CT-quality ultrasound imaging using deep learning. arXiv preprint arXiv:1710.06304https://arxiv.org/pdf/1710.06304.pdf

פרויקטים נוספים מומלצים

101 The application of gold nanoparticles in cancer treatments with machine learning models

שימוש בננו חלקיקים מזהב לפיתוח טיפולים לסרטן עם מודלים של למידת מכונה

שם המנחה: אלי ורון
אחראי/ת אקדמי/ת: פרופ' אורית שפי

הרקע לפרויקט:

שיטות רבות פותחו ונלמדו למציאת דרך חדשנית לטיפול בסרטן. אחת משיטות אלו לטיפול בגידולים סרטניים היא תרפיה פוטודינאמית. הצורך בפיתוח של ננו חלקיקים כמערכות הובלה של תרופות לגידולים סרטניים וביניהם תרופות שמשמשות לטיפול הפוטודינאמי הולך ומתגבר. נשתמש בקומפלקס שפותח במעבדה של ננו חלקיקי זהב שמחוברים לתרופה פוטודינאמית בתאי סרטן ונבחן את התאים לאחר שילוב של טיפולים נוגדי סרטן על ידי הקרנות בלייזר.

מטרת הפרויקט:

מטרת הפרויקט היא לבחון את הטיפול הפוטודינאמי והטיפול התרמי לאחר שימוש בקומפלקס של ננו חלקיקי זהב שקשורים לתרופה. לשם כך, נגדל תאים סרטניים, נבחן את התאים לאחר קליטת החלקיקים בתאים, נבצע טיפול אנטי סרטני בתאים ונאבחן את התאים לאחר הטיפול. לאחר מכן נתכנן טיפול רפואי מותאם אישי על ידי אלגוריתם שנפתח ומודלים של למידת מכונה הלוקח בחשבון פרמטרים כגון עוצמת הלייזר ומשך זמן הקרנה כדי להשיג תוצאה המותאמת לגידול ספציפי.

תכולת הפרויקט:

  • לימוד תאורטי וקריאה בספרות של מחקרים רלבנטיים.
  • טיפול ומעקב אחר התאים שכולל כימות של התאים לאחר הטיפול האנטי סרטני בעזרת עיבוד תמונה, בדיקת מורפולוגיה ופרמטרים נוספים.
  • בניית מודלים של למידת מכונה ושימוש בתכנות לאופטימיזציה של הטיפול.

קורסי קדם:

ביולוגיה למהנדסים

דרישות נוספות:

ידע מוקדם בImage J ו-Matlab יתרון

מקורות:

  1. Cai, Weibo, Ting Gao, Hao Hong, and Jiangtao Sun. "Applications of gold nanoparticles in cancer nanotechnology." Nanotechnology, science and applications 1 (2008): 17.

401 Machine learning for novel X-ray imaging

למידת מכונה עבור דימות רנטגן חדשני

שם המנחה: אליהו כהן
אחראי/ת אקדמי/ת: ד"ר אליהו כהן

הרקע לפרויקט:

אנו חוקרים שיטות דימות חדשות שמטביעות מבנה מרחבי על קרני ה- X-ray ובכך מאפשרות לשפר את הרזולוציה של התמונה המתקבלת וכן מאפשרות להוריד את שטף הקרינה המייננת.

מטרת הפרויקט:

התוצר הסופי של הפרויקט יהיה אלגוריתם למידת מכונה שמאפשר להתאים תבנית מרחבית מיטבית למשפחה מסויימת של אובייקטים. למשל, אימון רשת נוירונים לטובת שחזור מיטבי של תמונות עצם שבורה בגוף האדם עם תבנית ייחודית.

תכולת הפרויקט:

הסטודנטים יעבדו עם קודים קיימים וקודים חדשים בפייתון ויטמיעו אלגוריתמים ללמידה עמוקה בכדי לנתח אוסף תמונות נתון (קונטקסט רפואי או תעשייתי), לקשר בינו לבין התבנית המרחבית של האלומה שהובילה לאותו שחזור ולהמליץ בהמשך על התבנית המתאימה ביותר לשחזור תמונות מהסוג הנתון.

קורסי קדם:

מבוא ללמידת מכונה

מקורות:

  1. He, Y., Wang, G., Dong, G. et al. Ghost Imaging Based on Deep LearningSci Rep 8, 6469 (2018). https://doi.org/10.1038/s41598-018-24731-2
  2. Fei Wang, Hao Wang, Haichao Wang, Guowei Li, and Guohai Situ, "Learning from simulation: An end-to-end deep-learning approach for computational ghost imaging," Opt. Express 27, 25560-25572 (2019)
  3. https://arxiv.org/abs/2112.13293

402 Audio-Video – Active Speaker Localization using Deep Learning

אודיו-וידאו – איכון (לוקאליזציה) דובר פעיל בשיטות למידת עמוקה

שם המנחה: עמית אליאב
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

הבנת סצנה במרחב מתוך שילוב מדיות מעוררת עניין רב לאחרונה - עבור שיחות זום, אביזרי מציאות רבודה (Augmented Reality), עזרים חכמים, בתים חכמים, רכבים אוטונומיים ועוד.

מטרת הפרויקט:

בפרויקט זה הסטודנטים יבצעו איכון (Localization) וסימון של דוברים פעילים בסצנה בהסתמך על מידע המגיע מתוך אודיו ווידאו בשיטות למידה עמוקה.
בנוסף הסטודנטים ירחיבו את הידע שלהם בנושא תכנון ותכנות מודלים בלמידה עמוקה. הסטודנטים יתנסו באיסוף דאטה, ניתוחו והכנתו לקראת אימון רשתות נוירונים ובניתוח תוצאות המודל.

תכולת הפרויקט:

  1. ניתוח וארגון הדאטה העומד לרשות הפרויקט (בין היתר דאטה של חברת Facebook (Meta))
  2. בניית מספר מודלים לאיכון וסימון של הדוברים הפעילים בסצנה הן מתוך האודיו והוידיאו בנפרד, והן מתוך עיבוד משותף של שתי המדיות.
  3. ניתוח התוצאות.
  4. איסוף דאטה חדש עבור בדיקת המודל.

קורסי קדם:

  • יש לקחת במקביל את הקורס בלמידה עמוקה – Deep Learning.
  • מומלץ לקחת גם את הקורס מבוא ללמידת מכונה.

דרישות נוספות:

  • תכנות python
  • הכרות עם ספריות למידה עמוקה – יתרון.

מקורות:

  1. Jiang, H., Murdock, C., & Ithapu, V. K. (2022). Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization. arXiv preprint arXiv:2201.01928. https://arxiv.org/pdf/2201.01928.pdf

403 Reverberation time classification using deep learning methods

סיווג הקלטות לרמות לפי רמות הדהוד באמצעות שיטות למידה עמוקה

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בשנים האחרונות רבים מן האלגוריתמים העוסקים בשערוך סיגנלים של דיבור מתבססים על שיטות למידה עמוקה. רבים מן האלגוריתמים אינם מצליחים להתמודד בצורה יעילה עם רמות הדהוד שונות. הדהוד כוונתו כמות ההחזרים המגיעים אל המיקרופונים מעבר למסלול הישיר מן הדובר- כך שהאות עובר מסלולים רבים מן הדובר ועד לקליטתו במערך המיקרופונים.

מטרת הפרויקט:

בפרויקט זה, בהינתן הקלטה נסווג את רמתה לפי רמת ההדהוד שלה- דבר היועיל בצורה רבה לאלגוריתמים רבים. נשתמש בשיטות למידה עמוקה אשר מוכיחות עצמן כיעילות ביותר בשנים האחרונות

תכולת הפרויקט:

על הסטודנים יהיה לבצע מחקר ספרותי, יצירת דאטא ,אימון ויצירת רשת שתסווג הקלטות שונות

קורסי קדם:

  • למידה עמוקה - ילקח במקביל לפרויקט
  • עיבוד אותות ספרתי 2 - ילקח במקביל לפרויקט

מקורות:

  1. H. Gamper and I. J. Tashev, "Blind Reverberation Time Estimation Using a Convolutional Neural Network," 2018 16th International Workshop on Acoustic Signal Enhancement (IWAENC), 2018, pp. 136-140, doi: 10.1109/IWAENC.2018.8521241.

404 Blind room parameter estimation using multiple multichannel speech recordings

שערוך פרמטרים של חדר ע״י הקלטה רב ערוצית באמצעות רשתות נוירונים

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בסיגנל דיבור אשר נקלט במערך מיקרופונים מוחבא מידע רב על הסביבה בה בוצעה ההקלטה. ניתן לשערך ממנו את סביבת הדובר, מיקום המיקרופונים גודל החדר אך בעיקר את זמן ההדהוד. זמן ההדהוד המכונה גם rt60, הינו פרמטר המעיד על אופי החדר מבחינת קליטת הסיגנל – כמה החזרים מגיעים אל מערך המיקרופונים ובאלו עוצמות. זהו מידע חשוב מאוד בעיקר בעולם הלמידה עמוקה בו רשתות נוירונים רבות מתקשות להתגבר על הדהוד גבוה

מטרת הפרויקט:

מטרת הפרויקט הינה לשערך את הפרמטרים המוחבאים אודות החדר בדגש על זמן ההדהוד- וזאת ע״י שימוש בשיטות למידה עמוקה

תכולת הפרויקט:

על הסטודנים יהיה לבצע מחקר ספרותי, יצירת דאטא ,ולאמן רשת אשר תבצע שערוך זמן הדהוד בצורה הטובה ביותר

קורסי קדם:

  • למידה עמוקה
  • עיבוד אותות ספרתי 2

מקורות:

  1. Srivastava, Prerak et al. “Blind Room Parameter Estimation Using Multiple Multichannel Speech Recordings.” 2021 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA) (2021): 226-230.

405 Multi channel Voice activity detection using deep learning methods

זיהוי דיבור באמצעות שיטות למידה עמוקה עבור מערך מיקרופונים

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בהינתן הקלטה או שיחה, נרצה לדעת עבור אפליקציות שונות באלו חלקים מן השיחה קיים דיבור ובאילו קיים שקט או רעש. שיטות סטטיסטיות שונות מבוססות החלטת-סף קיימות אך הן מתקשות כאשר יחס האות לרעש הינו נמוך (כלומר כאשר קיים רעש גבוה). בפרויקט זה נבצע שיערוך מקומות בהם קיים דיבור גם ביחס אות לרעש נמוך מאוד וזאת ע״י שימוש בשיטות למידה עמוקה

מטרת הפרויקט:

מטרת הפרויקט הינה לסווג כל מקטע זמן בהקלטה - לדיבור/רעש וזאת ע״י אימון רשת נוירונים ושימוש במידע מרחבי הקיים במערך המיקרופונים.

תכולת הפרויקט:

על הסטודנטים יהיה לבצע מחקר ספרותי, יצירת דאטא ,אימון ויצירת רשת אשר תבצע החלטה תוך שימוש במידע המרחבי של מערך המיקרופונים

קורסי קדם:

  • למידה עמוקה
  • עיבוד אותות ספרתי 2

מקורות:

  1. Sofer, A., & Chazan, S.E. (2022). CNN self-attention voice activity detectorArXiv, abs/2203.02944.

406 Old Recordings enhancement with classical and Deep Learning methods

ניקוי ושיפור איכות הקלטות ישנות - בשיטות קלאסיות ומבוססות למידה עמוקה

שם המנחה: עמית אליאב
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

הקלטות מוזיקליות ישנות שהוקלטו על תקליטים הומרו לאורך השנים למדיה דיגיטלית. אולם לרוב איכות ההקלטה אינה מיטבית מסיבות שונות – פגיעה פיזית בתקליטים, המרה לדיגיטל באיכות נמוכה.

מטרת הפרויקט:

בפרויקט זה הסטודנטים ינסו לנקות ולתקן איכות של הקלטות ישנות.
הם יתנסו בשיטות קלאסיות כגון שערוך רעש, שיטות הפחתה ספקטרליות, ניקוי רעשים מבוסס עיבוד תמונה.
כמו כן יתנסו בשיטות מבוססות למידה עמוקה – ארכיטקטורות Autoencoder, U-net ואף מודלים גנרטיביים.

תכולת הפרויקט:

  1. ניתוח וארגון הדאטה העומד לרשות הפרויקט.
  2. בניית אלגוריתם מבוסס שיטות קלאסיות.
  3. בניית מודל למידה עמוקה - רשתות נוירונים.
  4. ניתוח התוצאות.

קורסי קדם:

  • יש לקחת במקביל את הקורס בלמידה עמוקה – Deep Learning.
  • מומלץ לקחת גם את הקורס מבוא ללמידת מכונה.

דרישות נוספות:

  • תכנות python
  • רקע מוזיקלי - יתרון
  • הכרות עם ספריות למידה עמוקה – יתרון.

מקורות:

  1. Li, Yunpeng, et al. "Learning to denoise historical music." arXiv preprint arXiv:2008.02027 (2020). https://arxiv.org/abs/2008.02027
  2. E. Moliner and V. Välimäki, "A Two-Stage U-Net for High-Fidelity Denoising of Historical Recordings," ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2022, pp. 841-845, doi: 10.1109/ICASSP43922.2022.9746977. https://ieeexplore.ieee.org/abstract/document/9746977

604 Adversarial Attack on Neural-Networks-based models for Object Detection and Segmentation

התקפות על מודלים של למידה עמוקה למשימות של זיהוי

שם המנחה: אברהם רביב
אחראי/ת אקדמי/ת:  פרופ' הלל קוגלר

הרקע לפרויקט:

בעזרת זיהוי שגיאות וחולשות במודלים של למידה עמוקה ניתן להבין את התנהגותן באופן יותר טוב ובכך לשפר את הרובסטיות שלהם

מטרת הפרויקט:

לפתח אלגוריתם המוצא דוגמאות אדברסריאליות במודלים של למידה עמוקה עבור משימות של זיהוי אובייקטים וסגמנטציה. מטרת ההתקפה היא להיות אדפטיבית לתמונה ולכלול כמה שפחות רעש, ועם זאת להטעות את המודל. בשלב הבא המטרה תהיה לחזק את הרובסטיות של המודל בעזרת אותן דוגמאות אדברסריאליות.

תכולת הפרויקט:

  • פיתוח התקפה על מודלים קיימים.
  • אימון מחדש של המודל עם הדוגמאות החדשות מתוך מטרה לשפר את הרובסטיות שלו.

קורסי קדם:

  • formal verification and synthesis.

דרישות נוספות:

  • יכולת תכנות גבוהה

מקורות:

  1. https://github.com/mathcbc/advGAN_pytorch

605 Using Formal Verification Methods for Reinforcement Learning

שימוש בכלים של אימות פורמלי עבור למידה מבוססת חיזוקים

שם המנחה: אברהם רביב
אחראי/ת אקדמי/ת:  פרופ' הלל קוגלר

הרקע לפרויקט:

מודלים של למידה מבוססת חיזוקים נוטים להיות לא יציבים ולעיתים לא מצליחים להתכנס. בעזרת שימוש בכלים של אימות פורמלי ניתן לקבל מידע שיעזור לסוכן ללמוד ולהגיע להתכנסות יציבה.

מטרת הפרויקט:

להצליח להראות תרומה של כלי אימות פורמלי עבור בעיות גדולות של למידה מבוססת חיזוקים.

תכולת הפרויקט:

בנייה ותכנון של בעיות בסקייל גדול שניתן להשתמש עבורן בכלי אימות פורמלי על מנת לייצב את הלמידה ולאפשר לה להתכנס.

קורסי קדם:

  • formal verification and synthesis.

דרישות נוספות:

  • יכולת תכנות גבוהה

מקורות:

  1. https://scholar.google.co.il/scholar_url?

409 Geometry-Aware Multi-Task Learning for Binaural Audio Generation from Video

לימוד מרובה משימות בעל זיקה גיאומטרית עבור ייצור אודיו דו-אוזני מתוך וידאו

שם המנחה: יוחאי ימיני
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

הקלטת binaural audio היא משימה שבדר"כ דורשת ציוד הקלטה מיוחד ויקר. מכיוון ש-binaural audio מכיל בתוכו מידע על הגיאומטריה של הבעיה, ניתן לצפות כי אם נקליט סצנה בעזרת מיקרופון יחיד ומצלמה, נוכל להפיק את המידע הגיאומטרי מהתמונה המצולמת ולשלב אותו באות המגיע מהמיקרופון וכך ליצור binaural audio. אם נצליח בכך, נוכל לחסוך את המאמץ הכרוך בשימוש בציוד הקלטה של binaural audio.

מטרת הפרויקט:

אימון רשת ניורונים המקבלת בכניסתה וידאו ואדיו חד ערוצי ומוציאה אודיו דו ערוצי ההמקושר מרחבית לסצנה בוידאו. לדוגמה, אם בסצנה רואים אדם המנגן בפסנתר בצד ימין של הוידאו ובחורה שרה בצד שמאל, אזי בערוץ ימין של האודיו יישמע הפסנתר חזק יותר ואילו בערוץ השמאלי הבחורה ששרה תישמע חזק יותר

תכולת הפרויקט:

עיבוד dataset של אודיו-וידאו, כתיבת קוד לאימון רשת, עבודה עם room impulse responses, עיסוק הן בעולם האודיו והן בעולם ה-vision

קורסי קדם:

DSP2, Deep Learning

מקורות:

  1. https://vision.cs.utexas.edu/projects/geometry-aware-binaural/

410 Modeling Label Dependencies for Audio Tagging With Graph Convolutional Network

סיווג קטעי אודיו באמצעות רשת נוירונים ורשת גרפית

שם המנחה: דניאל לוי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

As a multi-label classification task, audio tagging aims to predict the presence or absence of certain sound events in an audio recording. Existing works in audio tagging do not explicitly consider the probabilities of the co-occurrences between sound events, which is termed as the label dependencies in this study. To address this issue, we propose to model the label dependencies via a graph-based method, where each node of the graph represents a label. An adjacency matrix is constructed by mining the statistical relations between labels to represent the graph structure information, and a graph convolutional network (GCN) is employed to learn node representations by propagating information between neighboring nodes based on the adjacency matrix, which implicitly models the label dependencies. The generated node representations are then applied to the acoustic representations for classification

מטרת הפרויקט:

בפרויקט זה הסטודנטים ילמדו איך לעבוד עם רשתות נוירונים ובפרט, רשתות על גרפים. תחילה נמדל את קטעי הדיבור כגרף בעזרת מודל הסתברותי ובעזרת הקשרים בין קטעי האודיו נוכל לשפר את סיווגם.

הסטודנטים יאמנו שתי רשתות שונות שיעזרו לקבלת ביצועים מיטביים.

תכולת הפרויקט:

  1. איסוף דאטא מתאים והתאמתו לכל אחת מהרשתות
  2. הבנת המודל ההסתברותי ובניית הגרף
  3. בניית רשת הסיווג
  4. בניית הרשת הגרפית
  5. שילוב של שתי הרשתות והסקת מסקנות

קורסי קדם:

  • למידה עמוקה-במקביל

דרישות נוספות:

  • למידת מכונה
  • עיבוד ספרתי של אותות 2

מקורות:

  1. H. Wang, Y. Zou, D. Chong and W. Wang, "Modeling Label Dependencies for Audio Tagging With Graph Convolutional Network," in IEEE Signal Processing Letters, vol. 27, pp. 1560-1564, 2020, doi: 10.1109/LSP.2020.3019702. https://ieeexplore.ieee.org/abstract/document/9178483

411 DSP Toolbox -Python freeware GUI

פיתוח סביבת עבודה גרפית בפיתון לאלגוריתמים של DSP

שם המנחה: פיני טנדייטניק
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בשנים האחרונות מתרחב השימוש בכלי תוכנה מבוססים קוד פתוח.
מטרת הפרויקט להנגיש ולפתח בצורה גרפית קוד אשר יהפוך באופן אוטומטי לתוכנית שתרוץ על המחשב שלנו. גישת פיתוח זו מקצרת באופן משמעותי את זמני הפיתוח של אב טיפוס של המוצרים.

מטרת הפרויקט:

נגישות לכלי תוכנה לפיתוח אלגוריתמי DSP תורמת לקיצור זמנים בפיתוח של אב טיפוס של המוצר. סביבות עבודה גרפיות נפוצה ל FAST PROTOTYPING הינה Matlab/SIMULINK [ 1] , ראה מודל סימולינק לדוגמה בלינק : https://www.eng.biu.ac.il/~pinit/Proj_2023/SIMULINK_example.JPG ).
רשיון מטלב עם DSP TOOLBOX יכול להגיע למאות או אלפי דולרים לעמדה בודדת בארגון.

שימוש בכלי פיתוח שהם Freeware software יכול להנגיש את הכלים לקהל מטרה רחב יותר.
כמו כן, כלים שהם Freeware software יכולים להוות בסיס להוראה של מעבדת DSP ותקשורת בקמפוסים בעלי יכולות כלכליות מוגבלות.

תכולת הפרויקט:

בפרויקט זה נפתח DSP TOOLBOX בנושאים מגוונים דוגמת סינון, משפט הדגימה, אינטרפולציה ודצימציה וסינון אדפטיבי.
במסגרת הפרויקט יבחנו מספר סביבות עבודה גרפיות [2-5] לצורך החלפת Matlab/SIMULINK למימוש FAST PROTOTYPING [1]

קורסי קדם:

  • עיבוד ספרתי 1
  • אלגוריתמים סטטיסטיים

מקורות:

  1. Gannot, S., & Avrin, V. (2006, September). A Simulink© and Texas instruments C6713® based digital signal processing laboratory. In 14th European Signal Processing Conference, 2006. (https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7071073 )
  2. https://www.scilab.org/software, an open-source matlab + Simulink (scilab + xcos)
  3. https://github.com/severin-lemaignan/boxology
  4. https://github.com/node-red/node-red
  5. https://github.com/leon-thomm/Ryven (Python)

115 Quantifying adaptive immune traits in B and T cell receptor repertoire datasets

כימות תכונות של מערכת החיסון האדפטיבית בדאטאסטים של רצפי רצפטורים מתאי B ו T

שם המנחה: אילת פרס
אחראי/ת אקדמי/ת: פרופ' גור יערי

הרקע לפרויקט:

Despite many research efforts and many decades of research, the adaptive immune system remains one of the most complex and mysterious systems in the human body. Most initial studies in the field used low-scale experimental setups, but with the introduction of high throughput sequencing (HTS), a more in-depth approach is in reach, termed adaptive immune receptor repertoire sequencing (AIRR-seq). The data obtained in these high throughput experiments requires dedicated statistical methods and big data analysis approaches to discover patterns that can aid in better understanding the adaptive immune system complexity.

מטרת הפרויקט:

In this project, you will choose one adaptive immune system trait (for example, somatic hypermutations, clones, diversity, genotype, etc.), quantify it in B and T cell receptor repertoire datasets, and compare the results with known datasets published in VDJbase.org. For example, we wish to quantify the somatic hypermutation phenomena in B cell repertoires in healthy and sick individuals, to broaden our understanding of adaptive immunity and use its traits for the prediction of diseases, diagnoses, and therapy design. The project will involve programming languages such as python, R, and bash, as well as field-specific software.

תכולת הפרויקט:

Reading and summarising relevant literature and scientific articles Familiarising with biological statistical analysis and NGS analysis tools

קורסי קדם:

מבוא לביולוגיה למהנדסים, מדעי נתונים ביולוגים

דרישות נוספות:

נסיון בתכנות ב R ו/או פייתון, ידע בסטטיסטיקה

מקורות:

  1. Yaari, G., Kleinstein, S.H. Practical guidelines for B-cell receptor repertoire sequencing analysis. Genome Med 7, 121 (2015). https://link.springer.com/article/10.1186/s13073-015-0243-2
  2. https://immcantation.readthedocs.io/en/stable/
  3. https://presto.readthedocs.io/en/stable/
  4. Erand Smakaj, Lmar Babrak, Mats Ohlin, Mikhail Shugay, Bryan Briney, Deniz Tosoni, Christopher Galli, Vendi Grobelsek, Igor D’Angelo, Branden Olson, Sai Reddy, Victor Greiff, Johannes Trück, Susanna Marquez, William Lees, Enkelejda Miho, Benchmarking immunoinformatic tools for the analysis of antibody repertoire sequences, Bioinformatics, Volume 36, Issue 6, 15 March 2020, Pages 1731–1739, https://academic.oup.com/bioinformatics/article/36/6/1731/5686386?login=true

116 Exploring and quantifying the publicness of B and T cell receptors

כימות הדמיון בין רפרטוארים של מתאי B או T

שם המנחה: אילת פרס
אחראי/ת אקדמי/ת: פרופ' גור יערי

הרקע לפרויקט:

The immune system's success in fighting evolving threats depends on its ability to adapt and diversify. A repertoire of receptors is carried by an extremely large number of lymphocytes, each of which is unique. The receptors are assembled by a complex process involving somatic recombination of a large number of gene segments. Despite the huge diversity, estimated at 10 9 -10 11 unique receptors per individual at any given time, recently it has been discovered that individuals share specific receptors.

מטרת הפרויקט:

In this project, you will explore this sharing using published tools such as IGOR and OLGA. These tools calculate the probability of creating a given receptor in an individual. Using these tools we can quantify the sharing and publicness of specific sequences. Identification of universal features of immune responses across individuals can be useful when designing vaccines to have a high probability of eliciting an immune response, or for identifying candidate T-cell clones in immunotherapeutic strategies. The project will involve working with programming languages such as python, R, and bash, as well as field-specific software.

תכולת הפרויקט:

Reading and summarising relevant literature and scientific articles Familiarising field-specific tools High-level statistical analysis

קורסי קדם:

מדעי נתונים ביולוגים, מבוא לביולוגיה למהנדסים

דרישות נוספות:

ניסיון תכנות בpython ו/או R, ידע בסטטיסטיקה והרצת תוכנות בסביבת bash

מקורות:

  1. Marcou, Q., Mora, T. & Walczak, A.M. High-throughput immune repertoire analysis with IGoR. Nat Commun 9, 561 (2018). https://doi.org/10.1038/s41467-018-02832-w https://www.nature.com/articles/s41467-018-02832-w
  2. Zachary Sethna, Yuval Elhanati, Curtis G Callan, Jr, Aleksandra M Walczak, Thierry Mora, OLGA: fast computation of generation probabilities of B- and T-cell receptor amino acid sequences and motifs, Bioinformatics, Volume 35, Issue 17, 1 September 2019, Pages 2974–2981, https://academic.oup.com/bioinformatics/article/35/17/2974/5292315
  3. https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1008394
  4. https://journals.aps.org/pre/abstract/10.1103/PhysRevE.101.062414
  5. https://onlinelibrary.wiley.com/doi/full/10.1111/imr.12665

117 Using nanoparticles that respond to light to develop cancer therapies with mathematical models

שימוש בננו חלקיקים המגיבים לאור לפיתוח טיפולים לסרטן עם מודלים מתמטים

שם המנחה: אלי ורון
אחראי/ת אקדמי/ת: פרופ' אורית שפי

הרקע לפרויקט:

שיטות רבות פותחו ונלמדו למציאת דרך חדשנית לטיפול בסרטן. אחת משיטות אלו לטיפול בגידולים סרטניים היא תרפיה פוטודינאמית. הצורך בפיתוח של ננו חלקיקים כמערכות הובלה של תרופות לגידולים סרטניים וביניהם תרופות שמשמשות לטיפול הפוטודינאמי הולך ומתגבר. נשתמש בקומפלקס שפותח במעבדה של ננו חלקיקי זהב שמחוברים לתרופה פוטודינאמית בתאי סרטן ונבחן את התאים לאחר שילוב של טיפולים נוגדי סרטן על ידי הקרנות בלייזר.

מטרת הפרויקט:

מטרת הפרויקט היא לבחון את הטיפול הפוטודינאמי והטיפול התרמי לאחר שימוש בקומפלקס של ננו חלקיקי זהב שקשורים לתרופה. לשם כך, נגדל תאים סרטניים, נבחן את התאים לאחר קליטת החלקיקים בתאים, נבצע טיפול אנטי סרטני בתאים ונאבחן את התאים לאחר הטיפול. לאחר מכן נתכנן טיפול רפואי מותאם אישי על ידי אלגוריתם שנפתח ומודלים של למידת מכונה הלוקח בחשבון פרמטרים כגון עוצמת הלייזר ומשך זמן הקרנה כדי להשיג תוצאה המותאמת לגידול ספציפי.

תכולת הפרויקט:

לימוד תאורטי וקריאה בספרות של מחקרים רלבנטיים.
טיפול ומעקב אחר התאים שכולל כימות של התאים לאחר הטיפול האנטי סרטני בעזרת עיבוד תמונה, בדיקת מורפולוגיה ופרמטרים נוספים.
בניית מודלים של למידת מכונה ושימוש בתכנות לאופטימיזציה של הטיפול.

קורסי קדם:

  • מבוא ללמידת מכונה

דרישות נוספות:

  • ידע מוקדם בImage J ו-Matlab יתרון

מקורות:

  1. Cai, Weibo, Ting Gao, Hao Hong, and Jiangtao Sun. "Applications of gold nanoparticles in cancer nanotechnology." Nanotechnology, science and applications 1 (2008): 17.

412 Audio Neural Networks for Audio Pattern Recognition

סיווג קטעי אודיו באמצעות רשת נוירונים המתבססת על תמונת זמן-תדר ועל אות זמני

שם המנחה: דניאל לוי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Audio pattern recognition is an important research topic in the machine learning area, and includes several tasks such as audio tagging, acoustic scene classification, music classification, speech emotion classification and sound event detection. Recently, neural networks have been applied to tackle audio pattern recognition problems. However, previous systems are built on specific datasets with limited durations. Recently, in computer vision and natural language processing, systems pretrained on large-scale datasets have generalized well to several tasks. However, there is limited research on pretraining systems on large-scale datasets for audio pattern recognition. In this paper, we propose pretrained audio neural networks (PANNs) trained on the large-scale AudioSet dataset. These PANNs are transferred to other audio related tasks.

מטרת הפרויקט:

בפרויקט זה הסטודנטים ילמדו לעבוד עם רשתות נוירונים.
נראה איך שילוב של שני ייצוגים שונים של המידע לרשת יכולה לשפר את הביצועים הכוללים.

תכולת הפרויקט:

  1. איסוף דאטא מתאים והתאמתו ככניסות לרשת
  2. בניית כל אחת מהרשתות
  3. שילוב הרשתות והסקת מסקנות

קורסי קדם:

  • למידה עמוקה-במקביל

דרישות נוספות:

  • למידת מכונה
  • עיבוד ספרתי של אותות 2

מקורות:

Kong, Qiuqiang, et al. "Panns: Large-scale pretrained audio neural networks for audio pattern recognition."

413 Multi-channel speaker separation based on TanNet, time-domain neural network

הפרדת דוברים רב-ערוצית ע"י רשתות נוירונים מבוססת TasNet

ם המנחה: רננה אופוצ'ינסקי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בשנים האחרונות תחום הלמידה העמוקה התפתח והתקדם מאוד ובפרט הושגו תוצאות מרשימות בתחום הפרדת הדוברים ע"י רשתות נוירונים. מחקרים עדכניים מראים שיפור משמעותי בביצועים של משימות שונות בתחום הדיבור כמו- הפרדה, זיהוי אוטומטי של דיבור וכו' באמצעות שימוש במעצבי אלומה נלמדים על סמך הdata (בהנתן מערך מיקרופונים). במקביל, התפתחו גישות הפרדת דוברים ע"י רשתות נוירונים שמבצעות את ההפרדה במישור הזמן(TasNet) ישירות. בפרויקט זה נרצה לשלב בין שני העולמות ולפתח שיטה להפרדת דוברים רב ערוצית תוך שימוש בכלים של רשתות נוירונים ותוך שימת דגש על החתימה האקוסטית במערכת עם הדהוד ורעש.

מטרת הפרויקט:

פיתוח ומימוש שיטת הפרדת דוברים רב ערוצית תוך שימוש ברשתות נוירונים על סמך TasNet. יושם דגש על שיפור השיטות הקיימות בכלים מרחביים, מעצבי אלומה (beamformer) המנצלים את החתימה האקוסטית של המערכת (החדר) ושיפור הביצועים במצבים של הדהוד ורעש.

תכולת הפרויקט:

במסגרת פרויקט זה הסטודנטים יחשפו לעולם עיבוד אותות הדיבור בדגש על הפרדה ומעצבי אלומה (beamformer). בנוסף, הסטודנטים ילמדו, יתכננו ויממשו רשת נוירונים עמוקה.

קורסי קדם:

  • עיבוד ספרתי 2
  • למידה עמוקה
  • (כולם במקביל, במהלך שנה ד')

 

דרישות נוספות:

  • קורס למידת מכונה
  • תכנות בpython – יתרון.

 

מקורות:

  1. Y. Luo and N. Mesgarani, "TaSNet: Time-Domain Audio Separation Network for Real-Time, Single-Channel Speech Separation," 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2018, pp. 696-700, doi: 10.1109/ICASSP.2018.8462116. (https://ieeexplore.ieee.org/abstract/document/8462116 )
  2. T. Ochiai, M. Delcroix, R. Ikeshita, K. Kinoshita, T. Nakatani and S. Araki, "Beam-TasNet: Time-domain Audio Separation Network Meets Frequency-domain Beamformer," ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2020, pp. 6384-6388, doi: 10.1109/ICASSP40776.2020.9053575. ( https://ieeexplore.ieee.org/document/9053575 )

414 Deep ranking-based sound-source localization and tracking

איכון ועקיבה אחר דובר באמצעות רשתות נוירונים

שם המנחה: רננה אופוצ'ינסקי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בשנים האחרונות תחום הלמידה העמוקה התפתח והתקדם מאוד ובפרט הושגו תוצאות מרשימות בתחום הלוקליזציה, איכון דובר, ע"י רשתות נוירונים. איכון דובר היא משימה מסובכת במיוחד בתנאי הדהוד. לאחרונה ישנה התעניינות גוברת בשיטות איכון מבוססות למידה. בגישות אלו, המאפיינים האקוסטיים מחולצים מתוך סיגנל הדיבור בזמן ומשמשים כקלט למודל שממפה אותם למיקום שלהם בהתאמה. רוב השיטות מבוססות הלמידה דורשות סטים גדולים של מידע מתויג, הקלטות ממיקום ידוע, המאפשרות את תהליך הלמידה. בפרויקט נרצה לפתח שיטת איכון ועקיבה אחר דובר בחדר ידוע תוך הנחות מציאותיות על קיום data מתויג חלקית.

מטרת הפרויקט:

בפרויקט הסטודנטים יממשו אלגוריתם המאפשר איכון של דובר ועקיבה תוך שימוש בכלים מתקדמים ועדכניים בעולם הלמידה. הסטודנטים ילמדו ויעשירו את הידע שלהם בתחום הלמידה העמוקה בכלל ובפרט בשיטות בתוך תחום זה שמתבססות רק באופן חלקי על דוגמאות מתויגות ועל אוסף גדול של דוגמאות שאינן מתויגות -דירוג בעזרת רשתות סיאמיות. העבודה תתבצע בהתחלה בעזרת נתונים מסימולציה ובהמשך יבוצעו הקלטות בחדר אקוסטי על מנת לבחון את יכולות האלגוריתם על דוגמאות מציאותיות שיאספו בניסוי במעבדה.

תכולת הפרויקט:

במסגרת פרויקט זה הסטודנטים יחשפו לעולם עיבוד אותות הדיבור ולשיטות איכון ועקיבה , למידה עמוקה ובפרט לשיטות למידה semi/weakly-supervised. בנוסף, הסטודנטים ייחשפו לתהליך ביצוע הקלטות וניסוי בחדר אקוסטי.

קורסי קדם:

  • עיבוד ספרתי 2
  • למידה עמוקה

(כולם במקביל, במהלך שנה ד')

דרישות נוספות:

  • קורס למידת מכונה
  • תכנות בpython – יתרון.

מקורות:

  1. Opochinsky, Renana, Bracha Laufer-Goldshtein, Sharon Gannot, and Gal Chechik. "Deep ranking-based sound source localization." In 2019 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), pp. 283-287. IEEE, 2019.

607 Multi-agent reinforcement learning of traffic routing in networks of autonomous vehicles

למידה מבוססת חיזוקים ומרובת סוכנים של ניתוב רכבים אוטונומיים ברשתות עירוניות

שם המנחה: ליאון רביב
אחראי/ת אקדמי/ת: פרופ' אמיר לשם

הרקע לפרויקט:

בעתיד חלק ניכר מהתעבורה יהיה על ידי כלי רכב אוטונומיים. בפרויקט אנו ננסה לפתח שיטות ללמידה מבוזרת של ניתוב כלי רכב ברשתות עירוניות תוך שימוש בכלים של למידה מרובת סוכנים ומבוססת חיזוקים על ידי מידול של התעבורה כמשחק עומס מרקובי

מטרת הפרויקט:

פיתוח אלגוריתם למידה מרובה סוכנים לניהול תעבורה של כלי רכב אוטונומיים ברשת עירונית

תכולת הפרויקט:

בנית סימולציה של תעבורה עירונית תוך שילוב של מודלים של השפעת עומס על מהירות תנועה.
פיתוח אלגוריתם ללמידה שיתופית של ניתוב של כלי רכב תוך שימוש במידע מכלי רכב אחרים

קורסי קדם:

  • קורס בתהליכים אקראיים
  • קורס תיכנות מתקדם

 

מקורות:

  1. R. S. Sutton and A. G. Barto, Reinforcement learning: An introduction. MIT press, 2018
  2. T. Chu, J. Wang, L. Codecà, and Z. Li, “Multi-agent deep reinforcement learning for large-scale traffic signal control,” IEEE Transactions on Intelligent Transportation Systems, vol. 21, no. 3, pp. 1086–1095, 2019.
  3. H. Zhang, S. Feng, C. Liu, Y. Ding, Y. Zhu, Z. Zhou, W. Zhang, Y. Yu, H. Jin, and Z. Li, “Cityflow: A multi-agent reinforcement learning environment for large scale city traffic scenario,” in The world wide web conference, 2019, pp. 3620–3624.
  4. A. K. Sadhu and A. Konar, Multi-Agent Coordination: A Reinforcement Learning Approach. John Wiley & Sons, 2020