פרויקטי גמר - הנדסת מחשבים - המעבדה לעיבוד וניתוח נתונים תשפ"ב

801 Investigation of identifying and correcting of local mismatch between training and test datasets, using adaptive cost sensitive learning algorithms in deep neural networks.

חקירת זיהוי ותיקון חוסר התאמה לוקאלי בין נתוני לימוד ובחינה, באמצעות אלגוריתם Adaptive Cost Sensitive Learning ברשתות נוירונים עמוקות

שם המנחה: אוהד וולק וגונן זינגר
אחראי/ת אקדמי/ת: דר' גונן זינגר

הרקע לפרויקט:

The adaptive cost sensitive learning – AdaCSL for neural networks, is an algorithm that adaptively adjusts the loss function such that the classifier bridges the difference between the class distributions between subgroups of samples in the training and test data sets with similar predicted probabilities (i.e., local training-test class distribution mismatch). We provide some theoretical performance guarantees on the proposed algorithm and present empirical evidence that a deep neural network used with the proposed AdaCSL algorithm yields better cost results on several binary classification data sets that have class-imbalanced and class-balanced distributions compared to other alternative approaches. The goal of this project is to investigate the identification and correction mechanism of this algorithm using explainable AI algorithms.

For example, in a task of distinguishing between photos of Wolves and Eskimo dogs (Ribeiro et al., 2016), assuming the same class distribution in the training and test data sets (which can be a class-balanced or imbalanced problem), a local subgroup of images with similar features may be, for instance, images with snow. A local training-test class distribution mismatch can be reflected by 80% of the Eskimo dogs in the training data set compared to only 40% in the test data set. Thus, an insensitive neural network will be biased toward detecting Eskimo dogs (the majority class in the training data set), and the cost-sensitive learning approach will modify the neural network toward the Wolves (the minority class in the training data set) to adjust the bias. Since the test data set, however, reflects a different class distribution, the gap should be bridged by adjusting the neural network, i.e., changing the cost-learning parameters.

מטרת הפרויקט:

1. הבנה והסבר על מנגנון אלגוריתם AdaCSL לתיקון חוסר התאמות לוקאליות בנתונים כתוצאה מהתאמת יתר של רשתות עמוקות.
2. מציאת תובנות מוסברות עבור מספר בסיסי נתונים על הסיבות לסיווג ודיוק גבוה של רשתות עמוקות מחד וסיבות לטעויות סיווג כתוצאה מהתאמת יתר מצד שני.
3. קוד פייתון שמיישם EXPLAINABLE AI על האלגוריתם AdaCSL של רשתות עמוקות.

תכולת הפרויקט:

1. מציאת בסיסי נתונים לניתוח בעלי המאפיינים הבאים: לא מאוזנים, עלויות גבוהות של סיווג מוטעה.
2. לימוד לעומק והבנה של אלגוריתם AdaCSL עבור רשתות עמוקות.
3. לימוד, הבנה וקידוד של אלגוריתמים EXPLAINABLE AI שמתאימים לרשתות עמוקות (LIME, SHAP, etc)
4. כתיבת קוד פייתון ליישום מנגנון AdaCSL עבור בסיסי נתונים כולל שילוב שכבת EXPLAINABLE AI.
5. כתיבת דוח סיכום/מאמר.

קורסי קדם:

• כריית מידע וייצוג מידע - 83676
• קורס למידה עמוקה - 83882 (ניתן לבצע במקביל לפרויקט).

מקורות:

1. Elkan, C. The foundations of cost-sensitive learning. Proceedings of the Seventeenth International Conference on Artificial Intelligence: 4-10 August 2001; Seattle, 1, 05, 2001.
2. Wang, S., Liu, W., Wu, J., Cao, L., Meng, Q., and Kennedy,P. Training deep neural networks on imbalanced datasets. pp. 4368–4374, 07 2016. doi: 10.1109/IJCNN.2016.7727770.

802 Reinforcement Learning for Resource Constrained Scheduling

למידה מבוססת חיזוקים לתזמון תחת אילוצי משאבים

שם המנחה: איציק כהן
אחראי/ת אקדמי/ת: דר' איציק כהן

הרקע לפרויקט:

בעיות תזמון רלוונטיות לרוב תחומי חיינו. למשל: תזמון עבודות מחשוב על שרתים עם קיבולת מוגבלת, תזמון אנשים לבצע מספר פרויקטים בארגון או שיבוץ של עובדים לביצוע משמרות.
יש עניין מתמשך ורב בבעיות אלו משום שהן מרכזיות לביצועים העיסקיים של ארגונים וקשות מאוד לפתרון אופטימלי או אפילו יעיל ואפקטיבי. האתגר אף גדול יותר מכיוון שבמציאות בדרך כלל יש אי וודאות על משכי הפעילויות.

פרויקט זה יעסוק בבעיית שיבוץ של עבודות למשאבים מוגבלים כדי לסיים את משימה המורכבת ממספר פעילויות בזמן הקצר ביותר האפשרי. השאיפה היא לשלב שיטות פתרון מעולם למידת מכונה כגון למידה מבוססת חיזוקים לצד שיטות אחרות.

מטרת הפרויקט:

קיימים סטים של בעיות שיבוץ תחת אילוצי משאבים עם הפתרונות הידועים הטובים ביותר עד היום – וליד כל "שיא עולמי" כזה יש את שם המוצאים אותו.

השלב הראשון של הפרויקט יהיה סקירת ספרות שמטרתה להכיר את האלגוריתמים והשיטות שמביאות לפתרונות הטובים ביותר וכמו כן שיטות מעולם למידת המכונה.

בשלב השני, ישוחזרו התוצאות באמצעות כמה מהשיטות שמצאו את התוצאות הטובות ביותר.

בשלב השלישי והעיקרי של הפרויקט יתוכננו אלגוריתמים לפתרון הבעיה וביצועיהם ייבדקו על סט של בעיות ומול הפתרונות הטובים ביותר הידועים.

האתגר הוא לנצח את הפתרונות הטובים ביותר (בטיב הפתרון ובזמן למציאתו).

הציפייה היא לצוות עם רצון להתנסות בפיתוח אלגוריתמים, אופטימיזציה, תכנות ועבודה חישובית.

תכולת הפרויקט:

שלבי הפרויקט יכילו:

1. סקירת ספרות
2. שיחזור התוצאות הקודמות הטובות ביותר
3. תכנון ופיתוח אלגוריתמים ושיטות פתרון ובדיקת ביצועיהן,
4. כתיבת וסיכום התוצאות

קורסי קדם:

• הישגים גבוהים בקורסי מתמטיקה / מבני נתונים ואלגוריתמים
• יכולת תכנות (פייתון / מטלב)

מקורות:

1. Paraskevopoulos, D. C., Laporte, G., Repoussis, P. P., & Tarantilis, C. D. (2017). Resource constrained routing and scheduling: Review and research prospects. European Journal of Operational Research, 263(3), 737-754.
2. Habibi, F., Barzinpour, F., & Sadjadi, S. (2018). Resource-constrained project scheduling problem: review of past and recent developments. Journal of project management, 3(2), 55-88.

803 Formal Verification of Neural Networks

פיתוח כלי אימות לרשתות נוירונים

שם המנחה: Avraham Raviv
אחראי/ת אקדמי/ת: פרופ' הלל קוגלר

הרקע לפרויקט:

אימות פורמלי מאפשר שימוש באלגוריתמים ושיטות מתמטיות להוכחת נכונות של מערכות תוכנה וחומרה מורכבות. אחד האתגרים המרכזיים הנוכחיים הוא לתאר פתרונות שהתקבלו בשיטות של למידה ולהוכיח שהם אכן עומדים בדרישות. החשיבות של הוכחת נכונות של מערכת נוירונים נעשית משמעותית לאור ההתקדמות הדרמטית בשיטות ללמוד רשתות אך המגבלות הקיימות בהבנת ההתנהגות של הרשת שנלמדה.

מטרת הפרויקט:

במהלך הפרויקט הסטודנטים ירכשו ידע באימות פורמלי ויישמו אותו באמצעות פיתוח כלי שמאפשר לבצע אימות רשתות קלסיפיקציה (סיווג) שנלמדו בעזרת אלגוריתמים קיימים. יעד משמעותי בפרויקט הוא בניית כלי תוכנה והשתתפות בתחרות Verification of Neural Networks .

תכולת הפרויקט:

פיתוח כלי שמאפשר לאמת רשתות. השתתפות בתחרות Verification of Neural Networks.

קורסי קדם:

• אימות פורמלי 83691 (במקביל לפרויקט)
• למידה עמוקה 83882 (במקביל לפרויקט)

דרישות נוספות:

• יכולות אלגוריתמיות ותכנותיות גבוהות.
• תכנות ב-python יתרון.

מקורות:

1. G. Katz et al. The Marabou Framework for Verification and Analysis of Deep Neural Networks. CAV’21. 
2. Changliu Liu, Tomer Arnon, Chris Lazarus. Algorithms for Verifying Deep Neural Networks. Foundations and Trends in Optimization Series, Now Publishers, 2021.

804 Error identification and formal verification of Reinforcement Learning

זיהוי שגיאות ואימות פורמלי של למידה מבוססת חיזוקים

שם המנחה: Avraham Raviv
אחראי/ת אקדמי/ת: פרופ' הלל קוגלר

הרקע לפרויקט:

אימות פורמלי מאפשר שימוש באלגוריתמים ושיטות מתמטיות להוכחת נכונות של מערכות תוכנה וחומרה מורכבות. אחד האתגרים המרכזיים הנוכחיים הוא לתאר פתרונות שהתקבלו בשיטות של למידה ולהוכיח שהם אכן עומדים בדרישות. החשיבות של הוכחת נכונות של מודלים הנבנים בעזרת למידה מבוססת חיזוקים נעשית משמעותית לאור ההתקדמות הדרמטית בשיטות לאמן סוכני סביבה באלגוריתמים אלו ביחס למגבלות הקיימות בהבנת ההתנהגות של המודל.

מטרת הפרויקט:

במהלך הפרויקט הסטודנטים ירכשו ידע באימות פורמלי ויישמו אותו באמצעות שילוב של כלי אימות באלגוריתמים של למידה מבוססת חיזוקים.

תכולת הפרויקט:

פיתוח אלגוריתמים לאימות פתרונות של למידה מבוססת חיזוקים.

קורסי קדם:

• אימות פורמלי 83691 (במקביל לפרויקט)
• למידה עמוקה 83882 (במקביל לפרויקט)

דרישות נוספות:

• יכולות אלגוריתמיות ותכנותיות גבוהות.
• תכנות ב-python יתרון.

מקורות:

1. O. Bastani, Y. Pu, and A. Solar-Lezama. 2018. Verifiable Reinforcement Learning via Policy Extraction. In Proc. 32nd Conf. on Neural Information Processing Systems (NeurIPS).
2. Kazak et al. Verifying Deep-RL-Driven Systems. NetAI'19. https://dl.acm.org/doi/10.1145/3341216.3342218

805 Photorealistic Stereographic Rendering of Impossible 3D Objects

רינדור פוטוריאליסטי סטריאוגרפי של אובייקטים תלת ממדיים בלתי אפשריים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

An impossible image is a 2D image that represents a projection of a 3D object that cannot exist physically in real life. The artist M.C. Escher was a master in drawing such impossible images. In this project, a computer software for modeling such 3D objects and producing impossible image illusions will be created. The main theory is based on a paper by Savransky et al. from 1999. The idea of the project is to extend the algorithm given in the paper such that the rendered images will be photorealistic, creating a stronger illusion for the 3D perception. We will achieve this by supporting stereographic rendering using “3D glasses” like in movie theaters. This creates a stronger depth perception in the viewer’s mind. Additional extensions will be made by using more realistic optical perspective projection and global illumination.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

קורסים מומלצים (ניתן לקחת במקביל):

• 83654 גרפיקה ממוחשבת.
• 83656 עיבוד דיגיטלי של גיאומטריה 1
• 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

ידע בגרפיקה ממוחשבת

מקורות:

1. http://www.eng.biu.ac.il/~weberof/Escher/index.html
2. Savransky, Guillermo, Dan Dimerman, and Craig Gotsman. "Modeling and Rendering Escher‐Like Impossible Scenes." Computer Graphics Forum. Vol. 18. No. 2. Oxford, UK and Boston, USA: Blackwell Publishers Ltd, 1999.

806 Visualization of geometric distortion on 3D surfaces

ויזואליזציה של עוות גאומטרי על משטחים תלת ממדיים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

תחום הגרפיקה הממוחשבת הינו תחום מרתק המתפתח בקצב מהיר בשנים האחרונות בעיקר בגלל תעשיית הקולנוע ומשחקי המחשב הגורפות מיליארדי שקלים, אך משמש גם בתחומים רבים נוספים כגון דימות רפואית, תכנון וייצור בעזרת מחשב, הדפסה תלת ממדית וכו'.

אובייקטים בגרפיקה ממוחשבת הינם משטחים בעלי צורה גיאומטרית כלשהיא (למשל גוף או פנים של בן אדם) המיוצגים לרוב על ידי רשת של משולשים זעירים המחוברים זה לזה לאורך קשתות חופפות.
מיפוי בין משטחים הוא אחד הכלים הבסיסיים והחשובים ביותר בתחום של גרפיקה ממוחשבת ועיבוד דיגיטלי של גאומטריה. קיימים אלגוריתמים רבים לחישוב מיפויים בין משטחים. למיפויים האלה יש תכונות גאומטריות והמטרה העיקרית בחישוב מיפוי כזה היא למזער את העיוות הגאומטרי שהינו בלתי נמנע.

בפרויקט זה לא נעסוק באופן ישיר בחישוב של מיפויים בין משטחים אלא נעסוק בהערכת האיכות של מיפויים קיימים. הערכה זו תתבצע על ידי ויזואליזציה גרפית. הפרויקט יעסוק בתכנון ומימוש ויזואליזציה למיפויים מסוגים שונים והשוואה ביניהם.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

1. הפרויקט ידרוש פיתוח של אלגוריתם מורכב לוויזואליזציה של עוות גאומטרי של מיפויים בין משטחים.
2. מימוש האלגוריתם בשפת C++ בשילוב עם כלים גרפיים כמו Maya ותוכנות נוספות כמו Matlab.
3. בדיקה יסודית של תוצאות האלגוריתם על מגוון רחב של מודלים תלת ממדיים והשוואה לשיטות מתחרות.

קורסי קדם:

• 83656 עיבוד דיגיטלי של גיאומטריה 1. ניתן לקחת במקביל.

קורסים מומלצים (לא חובה וניתן לקחת במקביל):

• 83654 גרפיקה ממוחשבת.
• 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

• יכולת תכנות טובה.
• יכולת עבודה עצמאית והגדלת ראש.

מקורות:

1) Polygon mesh processing (book). Botsch, M., Kobbelt, L., Pauly, M., Alliez, P., & Lévy, B. (2010). CRC press.

807 Global Bijective Surface Parametrization

פרמטריזציה הרמונית חד ערכית גלובלית של משטחים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

תחום הגרפיקה הממוחשבת הינו תחום מרתק המתפתח בקצב מהיר בשנים האחרונות בעיקר בגלל תעשיית הקולנוע ומשחקי המחשב הגורפות מיליארדי שקלים, אך משמש גם בתחומים רבים נוספים כגון דימות רפואית, תכנון וייצור בעזרת מחשב, הדפסה תלת ממדית וכו'.

אובייקטים בגרפיקה ממוחשבת הינם משטחים בעלי צורה גיאומטרית כלשהיא (למשל גוף או פנים של בן אדם) המיוצגים לרוב על ידי רשת של משולשים זעירים המחוברים זה לזה לאורך קשתות חופפות.
מיפוי בין משטחים הוא אחד הכלים הבסיסיים והחשובים ביותר בתחום של גרפיקה ממוחשבת ועיבוד דיגיטלי של גאומטריה. קיימים אלגוריתמים רבים לחישוב מיפויים בין משטחים. למיפויים האלה יש תכונות גאומטריות והמטרה העיקרית בחישוב מיפוי כזה היא למזער את העיוות הגאומטרי שהינו בלתי נמנע.

בפרויקט זה נעסוק במימוש אלגוריתם למיפוי בין משטחים כאשר התכונה העיקרית שלו היא היותו חד ערכי. דבר זה מאפשר לנו למפות טקסטורה על גבי המשטח המקורי ועל ידי כך לצבוע ולהעשיר את המשטח המקורי במידע נוסף. המיפוי הספציפי שנעשה בו שימוש שייך למשפחת המיפויים ההרמוניים ולהם תכונות ייחודיות. האלגוריתם שנממש ידאג לכך ששפת המשטח לא תתנגש בעצמה. דבר שיבטיח את החד ערכיות.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק.

תכולת הפרויקט:

1. הפרויקט ידרוש פיתוח של אלגוריתם פרמטריזציה חד ערכית.
2. מימוש האלגוריתם בשפת C++ בשילוב עם כלים גרפיים כמו Maya ותוכנות נוספות כמו Matlab.
3. הרצת האלגוריתם על מגוון רחב של דוגמאות ומודלים תלת ממדיים וניתוח התוצאות.
4. השוואת תוצאות האלגוריתם עם שיטות מתחרות קיימות.

קורסי קדם:

• 83656 עיבוד דיגיטלי של גיאומטריה 1. ניתן לקחת במקביל.

קורסים מומלצים (לא חובה וניתן לקחת במקביל):

• 83633 עיבוד דיגיטלי של גיאומטריה 2
• 83654 גרפיקה ממוחשבת.

דרישות נוספות:

• יכולת תכנות טובה.
• יכולת עבודה עצמאית והגדלת ראש.

מקורות:

1. Polygon mesh processing (book). Botsch, M., Kobbelt, L., Pauly, M., Alliez, P., & Lévy, B. (2010). CRC press.
2. Jiang, Zhongshi, Scott Schaefer, and Daniele Panozzo. "Simplicial complex augmentation framework for bijective maps." ACM Transactions on Graphics 36.6 (2017).

808 Discrete Conformal Equivalence of Polyhedral Surfaces

שקילות קונפורמית דיסקרטית למשטחים פוליהדרונים

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

Polyhedral surfaces are elementary in computer graphics. They are used to represents real-life objects in virtual environments. Mapping such a polyhedral surface to a different domain, for example, to the plane is a fundamental problem in computer graphics and geometry processing. In this project we will learn about special types of maps which preserves angles (conformal maps). We will investigate a discrete notion of angle preservation and will implement an advanced algorithm for computing such maps. For more detailed see: https://www.cs.cmu.edu/~kmcrane/Projects/CEPS/index.html

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים יצטרכו לקרוא מאמר מתקדם בתחום, ללמוד אותו ביסודיות ולממשו. הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

קורסים: ניתן לקחת במקביל:

• 83656 עיבוד דיגיטלי של גיאומטריה 1
• 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

• יכולת תכנות טובה.
• יכולת עבודה עצמאית והגדלת ראש.

מקורות:

1) https://www.cs.cmu.edu/~kmcrane/Projects/CEPS/index.html

809 Anamorphosis

אנמורפוזיס

שם המנחה: פרופ' אופיר וובר
אחראי/ת אקדמי/ת: פרופ' אופיר וובר

הרקע לפרויקט:

Anamorphosis is a distorted projection requiring the viewer to occupy a specific vantage point, use special devices, or both to view a recognizable image. It is used in painting, photography, sculpture and installation, toys, and film special effects. Extreme anamorphosis has been used by artists to disguise caricatures, erotic and scatological scenes, and other furtive images from a casual spectator, while revealing an undistorted image to the knowledgeable viewer. For more information see: https://en.wikipedia.org/wiki/Anamorphosis

In this project we will implement algorithms for fabricating real-life objects that give rise to anamorphosis optical illusions. The fabricated objects will be printed using a 3D printer.

מטרת הפרויקט:

היכרות עם תחום הגרפיקה והגאומטריה, התעמקות בנושא מתקדם בתחום והתנסות במימוש אלגוריתם ובניית תוכנה מורכבת כהכנה לעבודה בתעשיית ההייטק ו/או לתואר מתקדם.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים יצטרכו לקרוא מאמר מתקדם בתחום, ללמוד אותו ביסודיות ולממשו. הפרויקט ידרוש פיתוח ומימוש של אלגוריתם מורכב בתוכנה.

קורסי קדם:

קורסים מומלצים - ניתן לקחת במקביל - לא כולם ינתנו:

• 83656 עיבוד דיגיטלי של גיאומטריה 1
• 83654 גרפיקה ממוחשבת
• 83633 עיבוד דיגיטלי של גיאומטריה 2

דרישות נוספות:

• יכולת תכנות טובה.
• יכולת עבודה עצמאית והגדלת ראש.

מקורות:

1. https://en.wikipedia.org/wiki/Anamorphosis
2. https://dl.acm.org/doi/10.1145/2661229.2661267
3. https://www.sciencedirect.com/science/article/pii/S0167839616300826?via…
4. https://disegno.unioneitalianadisegno.it/index.php/disegno/article/view…
5. https://link.springer.com/content/pdf/10.1007/s00004-015-0239-7.pdf
6. https://link.springer.com/content/pdf/10.1007/s00004-016-0302-z.pdf

810 Learning to solve CTF Challenges

למידה של אתגרי CTF

שם המנחה: Prof. Hillel Kugler
אחראי/ת אקדמי/ת: פרופ' הלל קוגלר

הרקע לפרויקט:

בשנים האחרונות חידות CTF הפכו לפופולריות ומשמשות לאתגר עבור מהנדסים, סטודנטים ותלמידים. כמו כן ארגונים שונים יוצרים תחרויות שונות המבוססות חידות אלו. תחרויות אלו נועדו לשם הנאה וגם למידה של המושגים השונים בתחום, וכן לשם פיתוח החשיבה והיצירתיות.

מטרת הפרויקט:

מטרת הפרויקט ליצור אתר המכיל חידות מסוגים שונים (web, cyber, formal , biological computation) .נרצה לאתגר את הסטודנטים בפקולטה כדי שיוכלו להתאמן כיצד לפתור חידות אלו, להתנסות ולהכיר חידות שונות, וכן לקבל פידבק על הפתרון ולהתאים את דרגת הקושי של החידות ליכולת הסטודנט.

תכולת הפרויקט:

הפרויקט מתחלק לארבעה חלקים: א. בניית עמוד הבית של האתר. ב. בניית חידות פרמטריות מכל תחום. ג. בניית מנגנון פידבק ודירוג קושי של חידות. ד. בניית ממשק ידידותי לחידות ואינטגרציה בדף הבית של האתר. הפיתוח יתבצע באופן איטרטיבי תוך קבלת פידבק ממשתמשים ראשונים של המערכת.

קורסי קדם:

• 83670 Biological Computation

מקורות:

1. https://ctftime.org/ctfs
2. https://www.enisa.europa.eu/publications/ctf-events

פרויקטים נוספים מומלצים

401 Regulation to improve multi-task learning

רגולציה לשיפור למידה מרובת משימות

שם המנחה: איתן פתיה
אחראי/ת אקדמי/ת: ד"ר איתן פתיה

הרקע לפרויקט:

Multi-task learning is faced with the challenge with using a unified model to make various predictions. For example, in autonomous driving we need to detect pedestrians, predict free space, perform lane detection etc. It is too expensive, from a computational standpoint, to run a separate model per task and we therefore try and train a single unified model. The problem is that the various task can interfere with each other and performance can drop when using multi-task learning.

מטרת הפרויקט:

The goal of this project is to improve multi-task learning by encouraging the gradients to have large cosine similarity.

תכולת הפרויקט:

The first part will be to implement previous work "REGULARIZING DEEP MULTI-TASK NETWORKS USING ORTHOGONAL GRADIENTS". We will then extend beyond and try improving on it.

קורסי קדם:

מבוא ללמידת מכונה - יכול להיות במקביל

מקורות:

Suteu, M.‪, & Guo, Y.‪ (2019)‪.‪ Regularizing Deep Multi-Task Networks using Orthogonal Gradients.‪

402 Using representation learning fom Gaussian process classification

שימוש בלימוד ייצוג לשיפור סיווג עם תהליכים גאוסיינים

שם המנחה: איתן פתיה ועידן אחיטוב
אחראי/ת אקדמי/ת: ד"ר איתן פתיה

הרקע לפרויקט:

Recently there has been great interest and success in representation learning in computer vision. We will investigate how these new model can help learn a kernel for Gaussian process classification, and how this can help machine learning in the low data regime.

מטרת הפרויקט:

The result would be a comparative evaluation on how representation learning can help Gaussian process classification, compared with a kernel learning baseline.

תכולת הפרויקט:

The students will need to use existing representation learning models, and apply Gaussian process classification on the learned features. They will then compare their ability to learn on a low data task.

קורסי קדם:

83841 למידת מכונה סטטיסטית (אפשר במקביל)

מקורות:

Gaussian Processes for Machine Learning
http://www.gaussianprocess.org/gpml/chapters/RW.pdf

403 Speech enhancement using NN and beamformer method

הנחתת רעשים ע"י שימוש ברשתות נוירונים ומסנן מרחבי

שם המנחה: אביעד איזנברג
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

במקרים רבים ישנו צורך 'לנקות' את אות הדיבור המתקבל בנוסף לרעש בעוצמה גבוהה. לצורך זאת אנו נתמקד בשיטה מבוססת למידה עמוקה (רשתות נוירונים) אשר תבצע למידה של המערכת ממנה הגיע המקור. בנוסף נשתמש בידע על סוג הרעש ובמסנן מרחבי על מנת להגיע לתוצאה הרצויה

מטרת הפרויקט:

מטרת הפרוייקט הינה לבצע יכולת הנחתת רעשים תוך כדי שימור אות הדיבור

תכולת הפרויקט:

בפרוייקט הסטודנטים יצטרכו לבנות ולאמן רשת למידה לצורך שיערוך מערכת בשילוב עם שיטות סינון מרחביות להנחתת רעשים

קורסי קדם:

• למידה עמוקה
• אלגוריתמים סטטיסטיים לעיבוד אותות
• עיבוד ספרתי של אותות 2

מקורות:

A. Aroudi and S. Braun, "DBnet: Doa-Driven Beamforming Network for end-to-end Reverberant Sound Source Separation," ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2021, pp. 211-215, doi: 10.1109/ICASSP39728.2021.9414187.

404 Source separation with multichannel variational autoencoder

הפרדת דוברים ע"י VAE

שם המנחה: אביעד איזנברג

אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

במקרים רבים נדרשת יכולת הפרדה של דוברים שונים מתוך דאטא מסויים. זוהי בעיה מאתגרת מאוד. בשנים האחרונות חלה עליה בשימוש בשיטות למידה עמוקה(רשתות נוירונים) לצורך פתרון בעיה זו. בפרוייקט זה אנו נשלב בין שיטות קיימות לשיטות למידה עמוקה לצורך פתרון הבעיה

מטרת הפרויקט:

יכולת הפרדת דוברים עיוורת, אימון וניתוח רשת נוירונים, בניית מודל סטטיסטי ופיתוחו

תכולת הפרויקט:

על הסטודנטים יהיה לאמן רשת ולבנות מודל סטטיסטי

קורסי קדם:

• למידה עמוקה
• אלגוריתמים סטיסטיים לעיבוד אותות
• עיבוד ספרתי של אותות 2

מקורות:

1. L. Li, H. Kameoka and S. Makino, "Fast MVAE: Joint Separation and Classification of Mixed Sources Based on Multichannel Variational Autoencoder with Auxiliary Classifier," ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2019, pp. 546-550, doi: 10.1109/ICASSP.2019.8682623.

2. Hirokazu Kameoka, Li Li, Shota Inoue, Shoji Makino Semi-blind source separation with multichannel variational autoencoder

110 Deep learning technologies for studying tumor samples

שימוש בלמידה עמוקה כדי לנתח דוגמאות סרטניות

שם המנחה: אוהד וולק ומיכל דנינו
אחראי/ת אקדמי/ת: ד"ר גונן זינגר וד"ר שחר אלון

הרקע לפרויקט:

אחת הדרכים להתאים טיפולים לחולים בסרטן היא על ידי מיפוי מולקולרי רחב היקף בסופר רזולוציה של רקמות. עם זאת, ניתוח המידע מהווה אתגר מרכזי -- איך אפשר לייצג ולנתח מידע מתמונות של מיליוני מולקולות כדי להחליט מה מצב התאים ברקמה הסרטנית? הפרויקט מנסה להתמודד עם האתגר הזה על ידי שיטות מעולם הלמידה העמוקה.

מטרת הפרויקט:

בפרויקט נשתמש במידע שהתקבל מטכנולוגיה שהיא בחזית המידע של חקר הסרטן - מיפוי מדויק של מולקולות ברקמה סרטנית.

כדי לנתח את המידע נשתמש בטכנולוגיה שגם היא בחזית המדע - אלגוריתמים אדפטיביים לומדים משובלים ברשתות נוירונים ללמידה עמוקה: DNN with adaptive cost sensitive learning – AdaCSL

תכולת הפרויקט:

1. ניתוח מקדים של הנתונים: זיהוי התאים ברקמה ואיחוד נתונים ממקורות שונים ליצירת מאגר אחד
2. הכרת של אלגוריתמי למידה עמוקה כולל שילוב אלגוריתם AdaCSL
3. כתיבת קוד בפייטון שכולל מימוש של קוד AdaCSL ובנוסף גם שכבת נוירונים שיכולה להסביר את קבלת ההחלטות
4. ניתוח הנתונים וזיהוי דפוסים של מצבי התאים במחלה
5. סיכום התוצאות
6. כתיבת מאמר מהווה סיום בהצטיינות של הפרויקט

קורסי קדם:

• כריית מידע וייצוג מידע – 83676
• למידה עמוקה – 83882 (ניתן לבצע במקביל לפרויקט)
• מדעי נתונים ביולוגים (ניתן לבצע במקביל לפרויקט, במקרים מסוימים יתכן פטור מקורס זה)

דרישות נוספות:

• רקע בלמידת מכונה הוא חובה
• רקע בביולוגיה הוא יתרון

מקורות:

1. Elkan, C. The foundations of cost-sensitive learning. Proceedings of the Seventeenth International Conference on Artificial Intelligence: 4-10 August 2001; Seattle, 1, 05, 2001.
2. S. Wang, W. Liu, J. Wu, L. Cao, Q. Meng and P. J. Kennedy, "Training deep neural networks on imbalanced data sets," 2016 International Joint Conference on Neural Networks (IJCNN), 2016, pp. 4368-4374, doi: 10.1109/IJCNN.2016.7727770.
3. https://www.alonlab.org/technology

406 Speech Activity Detection from EEG using neural networks

איתור פעילות דיבור בעזרת גלי EEG באמצעות רשתות נוירונים

שם המנחה: רועי גואטא
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

ממשקי מוח – מכונה, תחום בו אותות מהמוח האנושי עוברים למחשב לצורך עיבוד, ניתוח ולמידה הינו תחום אשר מתפתח מאוד בשנים האחרונות, בעיקר בשל ההתפתחויות הרבות בתחומי ההנדסה ומדעי המוח. חלק גדול מממשקים אלו מבוססים על EEG. EEG הינה שיטת סריקה לא פולשנית אשר מבצעת רישום של פעילות חשמלית במוח האדם.

באלגוריתמים רבים לעיבוד דיבור, הצורך באיתור זמנים בהם ישנו דובר פעיל ובהם אין דובר פעיל משמעותי מאוד. נושא זה נחקר רבות, ושיטות רבות הוצעו על מנת לבצע איתור שכזה, שיטות אלו מבוססות לרוב על אותות הדיבור עצמם, אולם שיטות אלו היו בעלות חסרונות ומגבלות, כגון בסביבות רועשות ובמרחקים יחסית גדולים בין המיקרופונים לבין הדובר.

יישום רשתות נוירונים מבוססות על גלי המוח המתקבלים מה-EEG עבור איתור זמנים בהם הדובר פעיל ואינו פעיל עשוי לפתור את הבעיה הזו. הוכח כי בגלי המוח המתקבלים מה-EEG יש מידע האם האדם ממנו נמדדו הגלים הללו שומע דובר או רעש בלבד, ובפרויקט זה תיבנה ותאומן רשת נוירונים אשר תפקידה לקבל את גלי המוח הללו ולהחליט האם ישנו דובר פעיל או לא בכל פרק זמן.

מטרת הפרויקט:

למידה, בנייה, אימון ובחינה של רשת נוירונים אשר תקבל גלים אלקטרו-מגנטים מהמוח (EEG) ותחליט עבור כל פרק זמן, האם יש דובר במערכת או לא.

תכולת הפרויקט:

1. למידה מעמיקה של נושאי הרקע בתחום עיבוד אותות, מדעי המוח, למידת מכונה ולמידה עמוקה.
2. עיבוד וסינון של גלי ה-EEG לצורה המתאימה לרשת הנוירונים.
3. הכירות, תכנון ובנייה של רשת הנוירונים.
4. מציאת תצורה אופטימלית לרשת הנוירונים וניתוח תוצאותיה.

קורסי קדם:

• עיבוד ספרתי 2
• למידה עמוקה

(כולם במקביל, במהלך שנה ד')

דרישות נוספות:

• קורס למידת מכונה
• תכנות ב-python – יתרון.

מקורות:

M. Koct´urov´a and J. Juh´ar, "Speech Activity Detection from EEG using a feed-forward neural network," 2019 10th IEEE International Conference on Cognitive Infocommunications (CogInfoCom), 2019, pp. 147-152, doi: 10.1109/CogInfoCom47531.2019.9089965.

407 Online speech source separation and counting using deep neural networks

הפרדת וספירת דוברים בזמן אמת באמצעות רשתות למידה עמוקה

שם המנחה: מר ליאור פרנקל
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

Automatic meeting analysis comprises the tasks of speaker counting, speaker diarization, and the separation of overlapped speech, followed by automatic speech recognition. This all has to be carried out on arbitrarily long sessions and, ideally, in an online or block-online manner. While significant progress has been made on individual tasks, this work presents an all-neural approach to simultaneous speaker counting, diarization and source separation. The NN-based estimator operates in a block-online fashion and tracks speakers even if they remain silent for a number of time blocks, thus learning a stable output order for the separated sources. The neural network is recurrent over time as well as over the number of sources. The simulation experiments show that state of the art separation performance is achieved, while at the same time delivering good diarization and source counting results. It even generalizes well to an unseen large number of blocks.

מטרת הפרויקט:

בפרוייקט זה נממש רשת למידה עמוקה מסוג BiLSTM שתקבל הקלטות של מספר דוברים בזמן אמת, תזהה את מס' הדוברים ותפריד ביניהם.

תכולת הפרויקט:

1. בניית מודל BiLSTM באמצעות הפלטפורמה של PyTorch והתאמתו למשימת ההפרדה וזיהוי מס' הדוברים.
2. יצירת data מתאים למשימה, אימון המודל ובדיקת ביצועים.
3. האלגוריתם יבחן על מערך מיקרופונים , כגון : https://www.eng.biu.ac.il/~pinit/r1/

קורסי קדם:

• DSP1
• DSP2
• אותות אקראיים ורעש.
• SSP1
• מבוא ללמידת מכונה.

דרישות נוספות:

• קורס למידה עמוקה (יתרון)

מקורות:

T. v. Neumann, K. Kinoshita, M. Delcroix, S. Araki, T. Nakatani and R. Haeb-Umbach, "All-neural Online Source Separation, Counting, and Diarization for Meeting Analysis," ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2019, pp. 91-95, doi: 10.1109/ICASSP.2019.8682572.
https://arxiv.org/pdf/1902.07881.pdf

411 Self-supervised Moving Vehicle Tracking with Stereo Sound

מערכת עקיבה אחר מכונית בעזרת סטריאו-אודיו באמצעות self-supervised learning

שם המנחה: יוחאי ימיני
אחראי/ת אקדמי/ת: פרופ' שרון גנות

הרקע לפרויקט:

מערכות עקיבה מבוססת וידאו נותנות ביצועים מרשימים בתנאי תאורה טובים, אך אינן מצליחות להתמודד עם מצבים כגון סצנות המצולמות בלילה. מערכת עקיבה מבוססת אודיו חסינה בפני שינוי תנאי תאורה, אך אינה יודעת לקשר מיקום פיזי למיקום בפריימים של מצלמת העקיבה

מטרת הפרויקט:

פיתוח מערכת עקיבה מבוססת אודיו הלומדת את הקישור למיקום בפריימים ממערכת מבוססת וידאו בשיטת teacher-student.

תכולת הפרויקט:

1. בניית מערכת עקיבה מבוססת וידאו
2. בניית מערכת עקיבה מבוססת סטריאו-אודיו באמצעות למידה ממערכת הוידאו.

קורסי קדם:

• DSP2
• מבוא ללמידת מכונה

דרישות נוספות:

• קורס למידה עמוקה

מקורות:

Self-supervised Moving Vehicle Tracking with Stereo Sound by Chuang Gan, Hang Zhao, Peihao Chen, David Cox, Antonio Torralba

413 Audio source localization from a noisy video

זיהוי מקור אודיו מתוך וידאו רועש

שם המנחה: ד"ר אופיר לינדנבאום
אחראי/ת אקדמי/ת: ד"ר אופיר לינדנבאום

הרקע לפרויקט:

Audio-Visual Sound Source Localization is an important task that has several applications, for instance, in robotics. The problem is especially challenging in the noisy regime, i.e., an additional audio signal whose source does not appear in the video. We will first convert the audio to a time-frequency representation using spectrograms. Then, we will utilize a recently proposed approach for sparse canonical correlation analysis (CCA). Canonical Correlation Analysis (CCA) models are powerful for studying the associations between two sets of variables. By learning a sparse subset of correlated input variables, we will identify the most correlated pixels with the audio signal.

מטרת הפרויקט:

בפרוייקט נממש אלגוריתם לזיהו מקור האודיו מתוך סרט וידאו רועש, לדוגמא זיהוי דובר, או זיהו כלי נגינה בסביבה רועשת. המטרה היא לזהות את הפיקסלים אשר מתארים את סיגנל האודיו ובמקביל לאתר את תחום התדרים אשר מתאר את הסיגנל שנוצר מהאוביקט שמופיע בתמונות. האלגוריתם יבדק על מגוון סרטים עם דוברים בנוכחות רעש.

תכולת הפרויקט:

1. סקירת ספרות.
2. מימוש קוד לחילוץ מאפיינים.
3. התאמת Sparse-CCA למאפיינים הנתונים.
4. בדיקת השיטה לעומת שיטות קיימות.

קורסי קדם:

• עיבוד אותות
• מבוא ללמידת מכונה- יכול להיות במקביל.

מקורות:

1. ℓ0-based Sparse Canonical Correlation Analysis: https://arxiv.org/abs/2010.05620
2. D. Dov, R. Talmon and I. Cohen, "Sequential Audio-Visual Correspondence With Alternating Diffusion Kernels," in IEEE Transactions on Signal Processing, vol. 66, no. 12, pp. 3100-3111, 15 June15, 2018, doi: 10.1109/TSP.2018.2802445. https://ieeexplore.ieee.org/abstract/document/8281539

506 Video compression by MPEG based algorithm

דחיסת וידאו באמצעות אלגוריתם מבוסס עקרונות MPEG

שם המנחה: ענליה סומך-ברוך
אחראי/ת אקדמי/ת: פרופ' ענליה סומך-ברוך

הרקע לפרויקט:

דחיסת מידע הינה ענף נרחב מאוד בעולמות התקשורת ותעבורת הנתונים. הצורך להעביר כמות גדולה והולכת של מידע בפרק הזמן הקצר ביותר הניתן גרם לפיתוחם של אלגוריתמים רבים לדחיסת סוגים שונים של מידע (אודיו, תמונה וכו'). הפרוייקט מתמקד בדחיסת וידאו.

מטרת הפרויקט:

בנייה, בחינה וניתוח של אלגוריתמים מבוססי MPEG לדחיסת ווידאו.

תכולת הפרויקט

1. למידה מעמיקה של נושאי הרקע בתחום תורת האינפורמציה והקידוד.
2. ביצוע סקירה ספרותית של אלגוריתמים שונים בתחום דחיסת הוידאו.
3. יישום ומימוש של אלגוריתמים לדחיסת וידאו, תוך התחשבות בכלל השיקולים בעולם תוכן זה.
4. ביצוע פעולות סינון ועיבוד על האות הדחוס טרם פריסתו.
5. ביצוע השוואה וניתוח של ביצועיי האלגוריתמים.

קורסי קדם:

• הקורס: תורת האינפורמציה

דרישות נוספות:

• קורסים בתכנות

מקורות:

1. The MPEG Handbook by John Watkinson

118 Analysis of Laser therapy Cell Fate by Means of Modeling and Image Processing

ניתוח טיפול תאי בלייזר באמצעות מודלים מתמטיים ועיבוד תמונה

שם המנחה: אלי ורון
אחראי/ת אקדמי/ת: פרופ' אורית שפי

הרקע לפרויקט:

פוטותרפיה היא סוג של טיפול רפואי הכרוך בחשיפה לנורות פלורסנט או לייזרים לטיפול במצבים רפואיים מסוימים. ישנם סוגים שונים של פוטותרפיה והסוג, כמו גם הטכניקה בה משתמש הרופא שלך, יהיו תלויים במצב שיש לך המטופל.
המעבדה שלנו הנדסה חלקיק ננו-זהב המחובר לפוטוסנסיטייזר. החלקיק שלנו מיוחד מכיוון שניתן להפעיל אותו באופן כפול. דרך אחת היא באמצעות לייזר ירוק (532 ננומטר) שגורם לזהב להתחמם המוביל לנזק תרמי (תרפיה פוטותרמית). הדרך השנייה היא באמצעות לייזר אדום (650 ננומטר) שגורם לפוטוסנסיטייזר לייצר חמצן סינגלט (טיפול פוטודינמי).

אנו מסיקים כי תחת הקרנת לייזר של שילוב ירוק ואדום, תוצאה של רעילות אור כפולה, בהשוואה לטיפול בירוק בלבד או אדום בלבד, מה שמעיד על יעילות משופרת של השיטה הטיפולית המשולבת.

מטרת הפרויקט:

בפרויקט זה נלמד וניישם טכניקות לניתוח תמונות לכימות אוטומטי של האבולוציה המרחבית-זמנית של תהליך המוות בתאים שנמדדת במיקרוסקופ פלואורסצנטי בזמן שעובר. תוכנת ניתוח התמונה תזהה ותפלח תאים שסומנו פלואורסצנטי. לאחר מכן, כל תא יהיה במעקב והתוכנה ימדוד את שינויים המורפולוגיים החושפים את תחילת המוות. תלמד כיצד לגדל תאים סרטניים ואיך למדוד ולהשתמש בלייזרים שונים לטובת טיפול אור.

תכולת הפרויקט:

• לימוד תאורטי וקריאה בספרות של מחקרים דומים
• מדידת עוצמת לייזר ושימוש בו לצורך טיפול בתאים
• טיפול בתאים והכנסת חלקיקי זהב
• רכישת תמונות לאורך זמן, עיבוד התמונות לצורך הערכת מוות תאי, סימולציה של התהליך

קורסי קדם:

• תכנות בסיסי
• עיבוד אותות

דרישות נוספות:

• ידע בתכנות
• ידע בעיבוד תמונה – יתרון

מקורות:

1. Ziraldo, Riccardo et al. “Towards automatic image analysis and assessment of the multicellular apoptosis process.” IET image processing vol. 9,5 (2015): 424-433.