פרויקטי גמר - הנדסת מחשבים - המעבדה לעיבוד וניתוח נתונים תשפ"ג

801 Prediction of stocks performance using constrained based classification methods

חיזוי ביצועי מניות באמצעות שימוש באלגוריתמי סיווג תלויי אילוצים

שם המנחה: גונן זינגר
אחראי/ת אקדמי/ת: דר' גונן זינגר

הרקע לפרויקט:

תהליכי חיזוי וסיווג בסביבות מוגבלות במשאבים הינה בעיה ידועה. לאחרונה פותחה גישה שמשלבת את מגבלת המשאבים כחלק מתהליכי הלמידה של מודלי סיווג. הפרויקט המוצע מציע יישום לחיזוי ביצועי מניות בסביבה מוגבלת במשאבים, כלומר ניתן לבחור במספר סופי וידוע מראש של מניות על פי מגבלת התקציב.

מטרת הפרויקט:

במסגרת הפרויקט יבוצע תהליך איסוף נתונים פנדמנטליסטים וטכניים אודות שוק המניות האמריקאי (נסדאק) ממקורות שונים ברמה יומית (איסוף רציף). יבוצע תהליך עיבוד מקדים לחיבור מקורות המידע השונים והכנתו לבעיית חיזוי ביצועי המניות. כמו כן יופעלו ויותאמו אלגוריתמים מבוססי עצי החלטות (Constrained based random forest, decision tree random forest etc) לפתרון בעיית החיזוי כאשר תקציב ההשקעה מוגבל ומגדיר את מספר המניות להשקעה.

תכולת הפרויקט:

  1. איסוף נתונים ממקורות שונים שכולל עבור שוק המניות האמריקאי נסדאק.
  2. חיבור מקורות המידע וביצוע תהליך עיבוד מקדים והעשרת מידע.
  3. יישום אלגורתמים מבוסיי עצי החלטות בסביבה מוגבלת בתקציבים.
  4. הערכת ביצועים של אלגוריתמים וולידציה בתנאי שוק משתנים ולאורך זמן.
  5. המלצה על מסגרת השקעה נבחרת שמניבה ביצועים טובים ביותר (Precision) לאורך זמן.

קורסי קדם:

  1. מבוא להסתברות וסטטיסטיקה.
  2. כריית מידע וויזואליזציה של נתונים.

מקורות:

טיוטת מאמר Cost-Sensitive Learning Models with Resource Constraints

802 Adaptive cost-sensitive learning approach for resource constraint based multi-class classification problem

גישת למידה רגישה לעלויות אדפטיבית לסיווג מרובה קלאסים מבוסס אילוצים

שם המנחה: גונן זינגר
אחראי/ת אקדמי/ת: דר' גונן זינגר

הרקע לפרויקט:

בעולם האמיתי קיימים מספר גדול של יישומים עבור סיווג מרובה קלאסים תוך הקצאה של משאבים מוגבלים. לדוגמא סיווג אנשים לרמת חומרה של מחלה (כאשר יש יותר מ-2 רמות) תוך הקצאת תרופות ומשאבים רפואיים מוגבלים. השקעה במניות על פי רמת ביצועים, תוך שימוש בתקציב מוגבל. לאחרונה פותחה גישה לסיווג בינארי מבוסס אילוצים עבור אלגוריתמים מבוססי עצי החלטות. הגישה מתאימה עבור בעיות בינאריות בלבד. מטרת הפרויקט להרחיב את הגישה עבור בעיות מרובות קלאסים.

מטרת הפרויקט:

במסגרת הפרויקט הסטודנטים יפתחו מסגרת עבודה להרחבת השיטה הבינארית לסיווג מוגבל במשאבים לבעיות סיווג מרובות קלאסים. כמו כן יפתחו הסטודנטים קוד בפייתון ליישום של השיטה ולבסוף ישוו את ביצועי השיטה על בסיס נתונים מתאים והשוואה לגישות קונבנציונאליות שהאילוץ נלקח בחשבון לאחר תהליך הלמידה.

תכולת הפרויקט:

  1. הפרויקט יפתח אלגוריתם עבור סיווג מרובה קלאסים מותנה באילוצים.
  2. הסטודנט יקודד בפייתון את האלגוריתם והשיטה עבור עצי החלטות.
  3. הסטודנט יישם את השיטה על בסיס נתונים וישווה את הביצועים לשיטות קונבנציונאליות קיימות.

קורסי קדם:

  1. קורס מבוא להסתברות וסטטיסטיקה.
  2. קורס כריית מידע וויזואליזציה של נתונים.

מקורות:

  1.  טיוטת מאמר Adaptive cost-sensitive learning approach for resource constraint based binary classification problem.
  2. Gutierrez, P.A.; Perez-Ortiz, M.; Sanchez-Monedero, J.; Fernandez-Navarro, F.; Hervas-Martinez, C. Ordinal regression methods: Survey and experimental study. IEEE Transactions on Knowledge and Data Engineering 2015, 28(1), 127-146.‏

803 Visualization of geometric distortion on 3D surfaces

ויזואליזציה של עוות גאומטרי על משטחים תלת ממדיים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

תחום הגרפיקה הממוחשבת הינו תחום מרתק המתפתח בקצב מהיר בשנים האחרונות בעיקר בגלל תעשיית הקולנוע ומשחקי המחשב הגורפות מיליארדי שקלים, אך משמש גם בתחומים רבים נוספים כגון דימות רפואית, תכנון וייצור בעזרת מחשב, הדפסה תלת ממדית וכו'.

אובייקטים בגרפיקה ממוחשבת הינם משטחים בעלי צורה גיאומטרית כלשהיא (למשל גוף או פנים של בן אדם) המיוצגים לרוב על ידי רשת של משולשים זעירים המחוברים זה לזה לאורך קשתות חופפות.

מיפוי בין משטחים הוא אחד הכלים הבסיסיים והחשובים ביותר בתחום של גרפיקה ממוחשבת ועיבוד דיגיטלי של גאומטריה. קיימים אלגוריתמים רבים לחישוב מיפויים בין משטחים. למיפויים האלה יש תכונות גאומטריות והמטרה העיקרית בחישוב מיפוי כזה היא למזער את העיוות הגאומטרי שהינו בלתי נמנע.

בפרויקט זה לא נעסוק באופן ישיר בחישוב של מיפויים בין משטחים אלא נעסוק בהערכת האיכות של מיפויים קיימים. הערכה זו תתבצע על ידי ויזואליזציה גרפית. הפרויקט יעסוק בתכנון ומימוש ויזואליזציה למיפויים מסוגים שונים והשוואה ביניהם.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

  • הפרויקט ידרוש פיתוח של אלגוריתם מורכב לוויזואליזציה של עוות גאומטרי של מיפויים בין משטחים.
  • מימוש האלגוריתם בשפת C++ בשילוב עם כלים גרפיים כמו Maya ותוכנות נוספות כמו Matlab.
  • בדיקה יסודית של תוצאות האלגוריתם על מגוון רחב של מודלים תלת ממדיים והשוואה לשיטות מתחרות.

קורסי קדם:

  • 83656 עיבוד דיגיטלי של גיאומטריה 1. ניתן לקחת במקביל.

קורסים מומלצים (לא חובה וניתן לקחת במקביל):

  • 83654 גרפיקה ממוחשבת.
  • 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.

מקורות:

  1. Polygon mesh processing (book). Botsch, M., Kobbelt, L., Pauly, M., Alliez, P., & Lévy, B. (2010). CRC press.

804 Discrete Conformal Equivalence of Polyhedral Surfaces

שקילות קונפורמית דיסקרטית למשטחים פוליהדרונים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

Polyhedral surfaces are elementary in computer graphics. They are used to represents reallife objects in virtual environments. Mapping such a polyhedral surface to a different domain, for example, to the plane is a fundamental problem in computer graphics and geometry processing. In this project we will learn about special types of maps which preserves angles (conformal maps). We will investigate a discrete notion of angle preservation and will implement an advanced algorithm for computing such maps. For more details see: https://www.cs.cmu.edu/~kmcrane/Projects/CEPS/index.html

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים יצטרכו לקרוא מאמר מתקדם בתחום, ללמוד אותו ביסודיות ולממשו. הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

קורסים: ניתן לקחת במקביל :

  • 83656 עיבוד דיגיטלי של גיאומטריה 1
  • 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.

מקורות:

  1.  https://www.cs.cmu.edu/~kmcrane/Projects/CEPS/index.html
  2.  https://youtu.be/wwuHFUQLlWA

805 Photorealistic Stereographic Rendering of Impossible 3D Objects

רינדור פוטוריאליסטי סטריאוגרפי של אובייקטים תלת מ

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

An impossible image is a 2D image that represents a projection of a 3D object that cannot exist physically in real life. The artist M.C. Escher was a master in drawing such impossible images. In this project, a computer software for modeling such 3D objects and producing impossible image illusions will be created. The main theory is based on a paper by Savransky et al. from 1999. The idea of the project is to extend the algorithm given in the paper such that the rendered images will be photorealistic, creating a stronger illusion for the 3D perception. We will achieve this by supporting stereographic rendering using “3D glasses” like in movie theaters. This creates a stronger depth perception in the viewer’s mind. Additional extensions will be made by using more realistic optical perspective projection and global illumination.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

  • 83654 גרפיקה ממוחשבת.

או

  • - 83656 עיבוד דיגיטלי של גיאומטריה 1.

דרישות נוספות:

ידע בגרפיקה ממוחשבת

מקורות:

  1. http://www.eng.biu.ac.il/~weberof/Escher/index.html
  2. Savransky, Guillermo, Dan Dimerman, and Craig Gotsman. "Modeling and Rendering Escher‐Like Impossible Scenes." Computer Graphics Forum. Vol. 18. No. 2. Oxford, UK and Boston, USA: Blackwell Publishers Ltd, 1999.

806 Anamorphosis

אנמורפוזיס

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

Anamorphosis is a distorted projection requiring the viewer to occupy a specific vantage point, use special devices, or both to view a recognizable image. It is used in painting, photography, sculpture and installation, toys, and film special effects. Extreme anamorphosis has been used by artists to disguise caricatures, erotic and scatological scenes, and other furtive images from a casual spectator, while revealing an undistorted image to the knowledgeable viewer. For more information see:
https://en.wikipedia.org/wiki/Anamorphosis

In this project we will implement algorithms for fabricating real-life objects that give rise to anamorphosis optical illusions. The fabricated objects will be printed using a 3D printer.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים יצטרכו לקרוא מאמר מתקדם בתחום, ללמוד אותו ביסודיות ולממשו. הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

  • 83654 גרפיקה ממוחשבת.

או

  • 83656 עיבוד דיגיטלי של גיאומטריה 1.


דרישות נוספות:

  • יכולת תכנות טובה.
  • יכולת עבודה עצמאית והגדלת ראש.


מקורות:

  1. https://en.wikipedia.org/wiki/Anamorphosis
  2. https://dl.acm.org/doi/10.1145/2661229.2661267
  3. https://www.sciencedirect.com/science/article/pii/S0167839616300826?via%3Dihub
  4. https://disegno.unioneitalianadisegno.it/index.php/disegno/article/view/232/414
  5. https://link.springer.com/content/pdf/10.1007/s00004-015-0239-7.pdf
  6. https://link.springer.com/content/pdf/10.1007/s00004-016-0302-z.pdf

807 Differentially Private Clustering Algorithms

אלגוריתמי קלאסטרינג פרטיים

שם המנחה: Or Sheffet
אחראי/ת אקדמי/ת: ד"ר אור שפט

הרקע לפרויקט:

Differential privacy has been established in recent years as the "de-facto" gold standard of privacy preserving data analysis. In this project the students are expected to read, understand, implement and test a differentially private algorithm for locating a cluster / multiple clusters in a given dataset of points in the Euclidean space.

מטרת הפרויקט:

This project is centered around the problem of private data clustering. The students are expected to implement randomized algorithms that deal with clustering, including: noisy counting, above-threshold, locally-sensitive hashing, and randomly chosen axes.

Furthermore, the students are expected to test and compare the performance of said algorithms over multiple datasets.

Academically, the goal of the project is to have the students acquainted with differential privacy (DP) and the high-level ideas of differential privacy, as well as the technical difficulties that arise from the promise of DP.

Practically, the goal is to publish the project's code online, available for researchers world-wide.

תכולת הפרויקט:

The project's main focus is on understanding and implementing a scientific paper in differential privacy.

The project is based on 3 stages:

  1. reading and understanding existing work,
  2. implementation of algorithms in code and
  3. 3.testing empirical performance over synthetic / real-life data.

The main focus of the project is the 1-cluster algorithm of Nissim and Stemmer, composed of multiple building blocks.

The students are required to implement each of these subroutines and then wrap it all together in an algorithm of bounded privacy lose (i.e. a (\epsilon,\delta)-DP algorithm).

קורסי קדם:

  • 83224- מבני נתונים ואלגוריתמים 2
  • 83216- מבוא להסתברות וסטטיסטיקה
  • 83908- פרטיות דפרנציאלית (המומלץ)

מקורות:

  1. arxiv.org/pdf/1804.08001
  2. arxiv.org/pdf/1707.04766
  3. www.cis.upenn.edu/~aaroth/Papers/privacybook.pdf

פרויקטים נוספים מומלצים

101 The application of gold nanoparticles in cancer treatments with machine learning models

שימוש בננו חלקיקים מזהב לפיתוח טיפולים לסרטן עם מודלים של למידת מכונה

שם המנחה: אלי ורון
אחראי/ת אקדמי/ת: פרופ' אורית שפי

הרקע לפרויקט:

שיטות רבות פותחו ונלמדו למציאת דרך חדשנית לטיפול בסרטן. אחת משיטות אלו לטיפול בגידולים סרטניים היא תרפיה פוטודינאמית. הצורך בפיתוח של ננו חלקיקים כמערכות הובלה של תרופות לגידולים סרטניים וביניהם תרופות שמשמשות לטיפול הפוטודינאמי הולך ומתגבר. נשתמש בקומפלקס שפותח במעבדה של ננו חלקיקי זהב שמחוברים לתרופה פוטודינאמית בתאי סרטן ונבחן את התאים לאחר שילוב של טיפולים נוגדי סרטן על ידי הקרנות בלייזר.

מטרת הפרויקט:

מטרת הפרויקט היא לבחון את הטיפול הפוטודינאמי והטיפול התרמי לאחר שימוש בקומפלקס של ננו חלקיקי זהב שקשורים לתרופה. לשם כך, נגדל תאים סרטניים, נבחן את התאים לאחר קליטת החלקיקים בתאים, נבצע טיפול אנטי סרטני בתאים ונאבחן את התאים לאחר הטיפול. לאחר מכן נתכנן טיפול רפואי מותאם אישי על ידי אלגוריתם שנפתח ומודלים של למידת מכונה הלוקח בחשבון פרמטרים כגון עוצמת הלייזר ומשך זמן הקרנה כדי להשיג תוצאה המותאמת לגידול ספציפי.

תכולת הפרויקט:

  • לימוד תאורטי וקריאה בספרות של מחקרים רלבנטיים.
  • טיפול ומעקב אחר התאים שכולל כימות של התאים לאחר הטיפול האנטי סרטני בעזרת עיבוד תמונה, בדיקת מורפולוגיה ופרמטרים נוספים.
  • בניית מודלים של למידת מכונה ושימוש בתכנות לאופטימיזציה של הטיפול.

קורסי קדם:

ביולוגיה למהנדסים

דרישות נוספות:

ידע מוקדם בImage J ו-Matlab יתרון

מקורות:

  1. Cai, Weibo, Ting Gao, Hao Hong, and Jiangtao Sun. "Applications of gold nanoparticles in cancer nanotechnology." Nanotechnology, science and applications 1 (2008): 17.

401 Machine learning for novel X-ray imaging

למידת מכונה עבור דימות רנטגן חדשני

שם המנחה: אליהו כהן
אחראי/ת אקדמי/ת: ד"ר אליהו כהן

הרקע לפרויקט:

אנו חוקרים שיטות דימות חדשות שמטביעות מבנה מרחבי על קרני ה- X-ray ובכך מאפשרות לשפר את הרזולוציה של התמונה המתקבלת וכן מאפשרות להוריד את שטף הקרינה המייננת.

מטרת הפרויקט:

התוצר הסופי של הפרויקט יהיה אלגוריתם למידת מכונה שמאפשר להתאים תבנית מרחבית מיטבית למשפחה מסויימת של אובייקטים. למשל, אימון רשת נוירונים לטובת שחזור מיטבי של תמונות עצם שבורה בגוף האדם עם תבנית ייחודית.

תכולת הפרויקט:

הסטודנטים יעבדו עם קודים קיימים וקודים חדשים בפייתון ויטמיעו אלגוריתמים ללמידה עמוקה בכדי לנתח אוסף תמונות נתון (קונטקסט רפואי או תעשייתי), לקשר בינו לבין התבנית המרחבית של האלומה שהובילה לאותו שחזור ולהמליץ בהמשך על התבנית המתאימה ביותר לשחזור תמונות מהסוג הנתון.

קורסי קדם:

מבוא ללמידת מכונה

מקורות:

  1. He, Y., Wang, G., Dong, G. et al. Ghost Imaging Based on Deep LearningSci Rep 8, 6469 (2018). https://doi.org/10.1038/s41598-018-24731-2
  2. Fei Wang, Hao Wang, Haichao Wang, Guowei Li, and Guohai Situ, "Learning from simulation: An end-to-end deep-learning approach for computational ghost imaging," Opt. Express 27, 25560-25572 (2019)
  3. https://arxiv.org/abs/2112.13293

402 Audio-Video – Active Speaker Localization using Deep Learning

אודיו-וידאו – איכון (לוקאליזציה) דובר פעיל בשיטות למידת עמוקה

שם המנחה: עמית אליאב
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

הבנת סצנה במרחב מתוך שילוב מדיות מעוררת עניין רב לאחרונה - עבור שיחות זום, אביזרי מציאות רבודה (Augmented Reality), עזרים חכמים, בתים חכמים, רכבים אוטונומיים ועוד.

מטרת הפרויקט:

בפרויקט זה הסטודנטים יבצעו איכון (Localization) וסימון של דוברים פעילים בסצנה בהסתמך על מידע המגיע מתוך אודיו ווידאו בשיטות למידה עמוקה.
בנוסף הסטודנטים ירחיבו את הידע שלהם בנושא תכנון ותכנות מודלים בלמידה עמוקה. הסטודנטים יתנסו באיסוף דאטה, ניתוחו והכנתו לקראת אימון רשתות נוירונים ובניתוח תוצאות המודל.

תכולת הפרויקט:

  1. ניתוח וארגון הדאטה העומד לרשות הפרויקט (בין היתר דאטה של חברת Facebook (Meta))
  2. בניית מספר מודלים לאיכון וסימון של הדוברים הפעילים בסצנה הן מתוך האודיו והוידיאו בנפרד, והן מתוך עיבוד משותף של שתי המדיות.
  3. ניתוח התוצאות.
  4. איסוף דאטה חדש עבור בדיקת המודל.

קורסי קדם:

  • יש לקחת במקביל את הקורס בלמידה עמוקה – Deep Learning.
  • מומלץ לקחת גם את הקורס מבוא ללמידת מכונה.

דרישות נוספות:

  • תכנות python
  • הכרות עם ספריות למידה עמוקה – יתרון.

מקורות:

  1. Jiang, H., Murdock, C., & Ithapu, V. K. (2022). Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization. arXiv preprint arXiv:2201.01928. https://arxiv.org/pdf/2201.01928.pdf

403 Reverberation time classification using deep learning methods

סיווג הקלטות לרמות לפי רמות הדהוד באמצעות שיטות למידה עמוקה

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בשנים האחרונות רבים מן האלגוריתמים העוסקים בשערוך סיגנלים של דיבור מתבססים על שיטות למידה עמוקה. רבים מן האלגוריתמים אינם מצליחים להתמודד בצורה יעילה עם רמות הדהוד שונות. הדהוד כוונתו כמות ההחזרים המגיעים אל המיקרופונים מעבר למסלול הישיר מן הדובר- כך שהאות עובר מסלולים רבים מן הדובר ועד לקליטתו במערך המיקרופונים.

מטרת הפרויקט:

בפרויקט זה, בהינתן הקלטה נסווג את רמתה לפי רמת ההדהוד שלה- דבר היועיל בצורה רבה לאלגוריתמים רבים. נשתמש בשיטות למידה עמוקה אשר מוכיחות עצמן כיעילות ביותר בשנים האחרונות

תכולת הפרויקט:

על הסטודנים יהיה לבצע מחקר ספרותי, יצירת דאטא ,אימון ויצירת רשת שתסווג הקלטות שונות

קורסי קדם:

  • למידה עמוקה - ילקח במקביל לפרויקט
  • עיבוד אותות ספרתי 2 - ילקח במקביל לפרויקט

מקורות:

  1. H. Gamper and I. J. Tashev, "Blind Reverberation Time Estimation Using a Convolutional Neural Network," 2018 16th International Workshop on Acoustic Signal Enhancement (IWAENC), 2018, pp. 136-140, doi: 10.1109/IWAENC.2018.8521241.

404 Blind room parameter estimation using multiple multichannel speech recordings

שערוך פרמטרים של חדר ע״י הקלטה רב ערוצית באמצעות רשתות נוירונים

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בסיגנל דיבור אשר נקלט במערך מיקרופונים מוחבא מידע רב על הסביבה בה בוצעה ההקלטה. ניתן לשערך ממנו את סביבת הדובר, מיקום המיקרופונים גודל החדר אך בעיקר את זמן ההדהוד. זמן ההדהוד המכונה גם rt60, הינו פרמטר המעיד על אופי החדר מבחינת קליטת הסיגנל – כמה החזרים מגיעים אל מערך המיקרופונים ובאלו עוצמות. זהו מידע חשוב מאוד בעיקר בעולם הלמידה עמוקה בו רשתות נוירונים רבות מתקשות להתגבר על הדהוד גבוה

מטרת הפרויקט:

מטרת הפרויקט הינה לשערך את הפרמטרים המוחבאים אודות החדר בדגש על זמן ההדהוד- וזאת ע״י שימוש בשיטות למידה עמוקה

תכולת הפרויקט:

על הסטודנים יהיה לבצע מחקר ספרותי, יצירת דאטא ,ולאמן רשת אשר תבצע שערוך זמן הדהוד בצורה הטובה ביותר

קורסי קדם:

  • למידה עמוקה
  • עיבוד אותות ספרתי 2

מקורות:

  1. Srivastava, Prerak et al. “Blind Room Parameter Estimation Using Multiple Multichannel Speech Recordings.” 2021 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA) (2021): 226-230.

405 Multi channel Voice activity detection using deep learning methods

זיהוי דיבור באמצעות שיטות למידה עמוקה עבור מערך מיקרופונים

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בהינתן הקלטה או שיחה, נרצה לדעת עבור אפליקציות שונות באלו חלקים מן השיחה קיים דיבור ובאילו קיים שקט או רעש. שיטות סטטיסטיות שונות מבוססות החלטת-סף קיימות אך הן מתקשות כאשר יחס האות לרעש הינו נמוך (כלומר כאשר קיים רעש גבוה). בפרויקט זה נבצע שיערוך מקומות בהם קיים דיבור גם ביחס אות לרעש נמוך מאוד וזאת ע״י שימוש בשיטות למידה עמוקה

מטרת הפרויקט:

מטרת הפרויקט הינה לסווג כל מקטע זמן בהקלטה - לדיבור/רעש וזאת ע״י אימון רשת נוירונים ושימוש במידע מרחבי הקיים במערך המיקרופונים.

תכולת הפרויקט:

על הסטודנטים יהיה לבצע מחקר ספרותי, יצירת דאטא ,אימון ויצירת רשת אשר תבצע החלטה תוך שימוש במידע המרחבי של מערך המיקרופונים

קורסי קדם:

  • למידה עמוקה
  • עיבוד אותות ספרתי 2

מקורות:

  1. Sofer, A., & Chazan, S.E. (2022). CNN self-attention voice activity detectorArXiv, abs/2203.02944.

406 Old Recordings enhancement with classical and Deep Learning methods

ניקוי ושיפור איכות הקלטות ישנות - בשיטות קלאסיות ומבוססות למידה עמוקה

שם המנחה: עמית אליאב
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

הקלטות מוזיקליות ישנות שהוקלטו על תקליטים הומרו לאורך השנים למדיה דיגיטלית. אולם לרוב איכות ההקלטה אינה מיטבית מסיבות שונות – פגיעה פיזית בתקליטים, המרה לדיגיטל באיכות נמוכה.

מטרת הפרויקט:

בפרויקט זה הסטודנטים ינסו לנקות ולתקן איכות של הקלטות ישנות.
הם יתנסו בשיטות קלאסיות כגון שערוך רעש, שיטות הפחתה ספקטרליות, ניקוי רעשים מבוסס עיבוד תמונה.
כמו כן יתנסו בשיטות מבוססות למידה עמוקה – ארכיטקטורות Autoencoder, U-net ואף מודלים גנרטיביים.

תכולת הפרויקט:

  1. ניתוח וארגון הדאטה העומד לרשות הפרויקט.
  2. בניית אלגוריתם מבוסס שיטות קלאסיות.
  3. בניית מודל למידה עמוקה - רשתות נוירונים.
  4. ניתוח התוצאות.

קורסי קדם:

  • יש לקחת במקביל את הקורס בלמידה עמוקה – Deep Learning.
  • מומלץ לקחת גם את הקורס מבוא ללמידת מכונה.

דרישות נוספות:

  • תכנות python
  • רקע מוזיקלי - יתרון
  • הכרות עם ספריות למידה עמוקה – יתרון.

מקורות:

  1. Li, Yunpeng, et al. "Learning to denoise historical music." arXiv preprint arXiv:2008.02027 (2020). https://arxiv.org/abs/2008.02027
  2. E. Moliner and V. Välimäki, "A Two-Stage U-Net for High-Fidelity Denoising of Historical Recordings," ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2022, pp. 841-845, doi: 10.1109/ICASSP43922.2022.9746977. https://ieeexplore.ieee.org/abstract/document/9746977

604 Adversarial Attack on Neural-Networks-based models for Object Detection and Segmentation

התקפות על מודלים של למידה עמוקה למשימות של זיהוי

שם המנחה: אברהם רביב
אחראי/ת אקדמי/ת:  פרופ' הלל קוגלר

הרקע לפרויקט:

בעזרת זיהוי שגיאות וחולשות במודלים של למידה עמוקה ניתן להבין את התנהגותן באופן יותר טוב ובכך לשפר את הרובסטיות שלהם

מטרת הפרויקט:

לפתח אלגוריתם המוצא דוגמאות אדברסריאליות במודלים של למידה עמוקה עבור משימות של זיהוי אובייקטים וסגמנטציה. מטרת ההתקפה היא להיות אדפטיבית לתמונה ולכלול כמה שפחות רעש, ועם זאת להטעות את המודל. בשלב הבא המטרה תהיה לחזק את הרובסטיות של המודל בעזרת אותן דוגמאות אדברסריאליות.

תכולת הפרויקט:

  • פיתוח התקפה על מודלים קיימים.
  • אימון מחדש של המודל עם הדוגמאות החדשות מתוך מטרה לשפר את הרובסטיות שלו.

קורסי קדם:

  • formal verification and synthesis.

דרישות נוספות:

  • יכולת תכנות גבוהה

מקורות:

  1. https://github.com/mathcbc/advGAN_pytorch

605 Using Formal Verification Methods for Reinforcement Learning

שימוש בכלים של אימות פורמלי עבור למידה מבוססת חיזוקים

שם המנחה: אברהם רביב
אחראי/ת אקדמי/ת:  פרופ' הלל קוגלר

הרקע לפרויקט:

מודלים של למידה מבוססת חיזוקים נוטים להיות לא יציבים ולעיתים לא מצליחים להתכנס. בעזרת שימוש בכלים של אימות פורמלי ניתן לקבל מידע שיעזור לסוכן ללמוד ולהגיע להתכנסות יציבה.

מטרת הפרויקט:

להצליח להראות תרומה של כלי אימות פורמלי עבור בעיות גדולות של למידה מבוססת חיזוקים.

תכולת הפרויקט:

בנייה ותכנון של בעיות בסקייל גדול שניתן להשתמש עבורן בכלי אימות פורמלי על מנת לייצב את הלמידה ולאפשר לה להתכנס.

קורסי קדם:

  • formal verification and synthesis.

דרישות נוספות:

  • יכולת תכנות גבוהה

מקורות:

  1. https://scholar.google.co.il/scholar_url?

409 Geometry-Aware Multi-Task Learning for Binaural Audio Generation from Video

לימוד מרובה משימות בעל זיקה גיאומטרית עבור ייצור אודיו דו-אוזני מתוך וידאו

שם המנחה: יוחאי ימיני
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

הקלטת binaural audio היא משימה שבדר"כ דורשת ציוד הקלטה מיוחד ויקר. מכיוון ש-binaural audio מכיל בתוכו מידע על הגיאומטריה של הבעיה, ניתן לצפות כי אם נקליט סצנה בעזרת מיקרופון יחיד ומצלמה, נוכל להפיק את המידע הגיאומטרי מהתמונה המצולמת ולשלב אותו באות המגיע מהמיקרופון וכך ליצור binaural audio. אם נצליח בכך, נוכל לחסוך את המאמץ הכרוך בשימוש בציוד הקלטה של binaural audio.

מטרת הפרויקט:

אימון רשת ניורונים המקבלת בכניסתה וידאו ואדיו חד ערוצי ומוציאה אודיו דו ערוצי ההמקושר מרחבית לסצנה בוידאו. לדוגמה, אם בסצנה רואים אדם המנגן בפסנתר בצד ימין של הוידאו ובחורה שרה בצד שמאל, אזי בערוץ ימין של האודיו יישמע הפסנתר חזק יותר ואילו בערוץ השמאלי הבחורה ששרה תישמע חזק יותר

תכולת הפרויקט:

עיבוד dataset של אודיו-וידאו, כתיבת קוד לאימון רשת, עבודה עם room impulse responses, עיסוק הן בעולם האודיו והן בעולם ה-vision

קורסי קדם:

DSP2, Deep Learning

מקורות:

  1. https://vision.cs.utexas.edu/projects/geometry-aware-binaural/

410 Modeling Label Dependencies for Audio Tagging With Graph Convolutional Network

סיווג קטעי אודיו באמצעות רשת נוירונים ורשת גרפית

שם המנחה: דניאל לוי
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

As a multi-label classification task, audio tagging aims to predict the presence or absence of certain sound events in an audio recording. Existing works in audio tagging do not explicitly consider the probabilities of the co-occurrences between sound events, which is termed as the label dependencies in this study. To address this issue, we propose to model the label dependencies via a graph-based method, where each node of the graph represents a label. An adjacency matrix is constructed by mining the statistical relations between labels to represent the graph structure information, and a graph convolutional network (GCN) is employed to learn node representations by propagating information between neighboring nodes based on the adjacency matrix, which implicitly models the label dependencies. The generated node representations are then applied to the acoustic representations for classification

מטרת הפרויקט:

בפרויקט זה הסטודנטים ילמדו איך לעבוד עם רשתות נוירונים ובפרט, רשתות על גרפים. תחילה נמדל את קטעי הדיבור כגרף בעזרת מודל הסתברותי ובעזרת הקשרים בין קטעי האודיו נוכל לשפר את סיווגם.

הסטודנטים יאמנו שתי רשתות שונות שיעזרו לקבלת ביצועים מיטביים.

תכולת הפרויקט:

  1. איסוף דאטא מתאים והתאמתו לכל אחת מהרשתות
  2. הבנת המודל ההסתברותי ובניית הגרף
  3. בניית רשת הסיווג
  4. בניית הרשת הגרפית
  5. שילוב של שתי הרשתות והסקת מסקנות

קורסי קדם:

  • למידה עמוקה-במקביל

דרישות נוספות:

  • למידת מכונה
  • עיבוד ספרתי של אותות 2

מקורות:

  1. H. Wang, Y. Zou, D. Chong and W. Wang, "Modeling Label Dependencies for Audio Tagging With Graph Convolutional Network," in IEEE Signal Processing Letters, vol. 27, pp. 1560-1564, 2020, doi: 10.1109/LSP.2020.3019702. https://ieeexplore.ieee.org/abstract/document/9178483

411 DSP Toolbox -Python freeware GUI

פיתוח סביבת עבודה גרפית בפיתון לאלגוריתמים של DSP

שם המנחה: פיני טנדייטניק
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

בשנים האחרונות מתרחב השימוש בכלי תוכנה מבוססים קוד פתוח.
מטרת הפרויקט להנגיש ולפתח בצורה גרפית קוד אשר יהפוך באופן אוטומטי לתוכנית שתרוץ על המחשב שלנו. גישת פיתוח זו מקצרת באופן משמעותי את זמני הפיתוח של אב טיפוס של המוצרים.

מטרת הפרויקט:

נגישות לכלי תוכנה לפיתוח אלגוריתמי DSP תורמת לקיצור זמנים בפיתוח של אב טיפוס של המוצר. סביבות עבודה גרפיות נפוצה ל FAST PROTOTYPING הינה Matlab/SIMULINK [ 1] , ראה מודל סימולינק לדוגמה בלינק : https://www.eng.biu.ac.il/~pinit/Proj_2023/SIMULINK_example.JPG ).
רשיון מטלב עם DSP TOOLBOX יכול להגיע למאות או אלפי דולרים לעמדה בודדת בארגון.

שימוש בכלי פיתוח שהם Freeware software יכול להנגיש את הכלים לקהל מטרה רחב יותר.
כמו כן, כלים שהם Freeware software יכולים להוות בסיס להוראה של מעבדת DSP ותקשורת בקמפוסים בעלי יכולות כלכליות מוגבלות.

תכולת הפרויקט:

בפרויקט זה נפתח DSP TOOLBOX בנושאים מגוונים דוגמת סינון, משפט הדגימה, אינטרפולציה ודצימציה וסינון אדפטיבי.
במסגרת הפרויקט יבחנו מספר סביבות עבודה גרפיות [2-5] לצורך החלפת Matlab/SIMULINK למימוש FAST PROTOTYPING [1]

קורסי קדם:

  • עיבוד ספרתי 1
  • אלגוריתמים סטטיסטיים

מקורות:

  1. Gannot, S., & Avrin, V. (2006, September). A Simulink© and Texas instruments C6713® based digital signal processing laboratory. In 14th European Signal Processing Conference, 2006. (https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7071073 )
  2. https://www.scilab.org/software, an open-source matlab + Simulink (scilab + xcos)
  3. https://github.com/severin-lemaignan/boxology
  4. https://github.com/node-red/node-red
  5. https://github.com/leon-thomm/Ryven (Python)