פרויקטי גמר - הנדסת מחשבים - המעבדה לרשתות וחישוב תשפ"ג

601 Cooperative multi-agent learningand control of drones traffic

פיתוח אלגוריתם יעיל ללמידה מרובת סוכנים לניהול תעבורת רחפנים

שם המנחה: לי רביב
אחראי/ת אקדמי/ת: פרופ' אמיר לשם

הרקע לפרויקט:

הפרויקט המוצע יעסוק בלמידה שיתופית מרובת סוכנים ומבוססת חיזוקים לצורך ניהול של תעבורה של רחפנים בסביבה עירונית צפופה בקנה מידה גדול (אלפים ועשרות אליפים לתא שטח מצומצם). לצורך כך הפרויקט המוצע יכלול פיתוח סימולצית זירה של אלפי רחפנים הנעים כל אח עם יעד מוגדר ופיתוח אלגוריתם למידה מרובת סוכנים להתנהגות של כל רחפן בודד בסביבה של אלפי רחפנים אחרים.

התוצרים יהיו סימולצית טיסה של מאות רחפנים בתא שטח ואלגוריתם המשלב למידה מבוססת חיזוקים, חישה ושיתוף מידע בין רחפנים המאפשר לרחפנים לטוס ליעד בנוכחות רחפנים אחרים

מטרת הפרויקט:

  • הגדרת מודל טיסה של רחפן בודד
  • פיתוח סימולצית טיסה של מספר גדול של רחפנים וממשק גרפי
  • פיתוח אלגוריתם למידה מרובה סוכנים

תכולת הפרויקט:

אלגוריתמים, רשתות תקשורת ואינטרנט

קורסי קדם:

רצויה הכרה של למידה מבוססת חיזוקים ו/או תהליכי החלטה מרקובים

מקורות:

  1. Reinforcement learning https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2nd…
  2. UAV Swarm Intelligence: Recent Advances and Future Trends https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=9214446

602 Comparing Between different genetic networks using SCC computation

אלגוריתמים סימבוליים להשוואה בין רשתות גנטיות שונות באמצעות חישוב רכיבים קשירים חזקים

שם המנחה: Eitan Tannenbaum
אחראי/ת אקדמי/ת:  פרופ' הלל קוגלר

הרקע לפרויקט:

רשתות גנטיות חישוביות מאפשרות לתאר דינמיקה של רשתות גנטיות בתאים וכך להסביר תצפיות ניסיוניות ולנבא תוצאות של ניסיונות שעדיין לא בוצעו. לעיתים קרובות יש מספר השערות שונות לרשת גנטית.

מטרת הפרויקט:

בפרויקט נשתמש בחישוב של רכיבים קשירים כדי להשוות בין רשתות שונות ולהציע מדידות שיוכלו להבחין בין הרשתות.

תכולת הפרויקט:

במהלך הפרויקט הסטודנטים ילמדו מהם מהן רשתות גנטיות ואיך ניתן להשתמש ברשתות בוליאניות לתאר אותן. כמו כן ילמדו על אלגוריתמים סימבוליים למציאת רכיבים קשירים חזקים ויפתחו קוד יעיל ושיפורים הנדסיים לאפשר לאלגוריתם לפעול עבור גרפים גדולים ועבור אנסמבלים של גרפים והשוואות בין רשתות שונות. נפתח גישות כדי להציע מדידות שיוכלו להבחין בין הרשתות.

קורסי קדם:

  • 83691 Formal Verification and Synthesis (אפשר במקביל לפרויקט)
  • 83670 Biological Computation(אפשר במקביל לפרויקט)

דרישות נוספות:

יכולת תכנות טובה

מקורות:

  1. https://github.com/fsprojects/ReasoningEngine
  2. Roderick Bloem, Harold N. Gabow and Fabio Somenzi. An Algorithm for Strongly Connected Component Analysis in n log n Symbolic Steps. Formal Methods in System Design volume 28, pages 37–56, 2006.
  3. B. Yordanov S-J Dunn, H. Kugler, A. Smith, G. Martello and S. Emmott. A method to identify and analyze biological programs through automated reasoning. Nature Systems Biology and Applications, 2016.
  4. Peter, I.S., Faure, E. and Davidson, E.H., 2012. Predictive computation of genomic logic processing functions in embryonic development. Proceedings of the National Academy of Sciences, 109(41), pp.16434-16442.

603 Probabilistic process mining

כריית תהליכים הסתברותית

שם המנחה: ד"ר איציק כהן
אחראי/ת אקדמי/ת: ד"ר איציק כהן

הרקע לפרויקט:

בשנים האחרונות הסביבה מוצפת בסנסורים שונים כגון מצלמות המספקים מידע על הקורה בה. במקביל מתפתחות טכניקות למידת מכונה ולמידת תהליכים שמטרתן ללמוד על הקורה בסביבה על בסיס המידע המתקבל מסנסורים אלו. טכנולוגיות אלו עדיין מוגבלות בדיוק שלהן וביכולת שלהן לעבד קלט ארוך.

בפרויקט זה ייעשה שימוש בטכניקות למידת תהליכים אשר מניחות שהנתונים מתקבלים מתהליך כדי לבחון שיטות שונות לשיפור דיוק ולעיבוד קלט ארוך יותר של תהליכים.

מטרת הפרויקט:

מטרת הפרויקט ללמוד תהליך בצורה יעילה על בסיס קלט הסתברותי המתקבל מסנסורים כגון מצלמת וידאו.

התוצר הסופי יקבל קלט וידאו ויעשה קלסיפיקציה אוטומטית שלו לסוג התהלך שהתבצע בוידאו.

תכולת הפרויקט:

למידת הנושא וסקר ספרות, השלב העיקרי כולל הפעלת ובחינת אלגוריתמי למידת וכריית נתונים, התנסות עם פונקציות אקטיבציה שונות, מיפוי תוצאות, כתיבת דוח סופי

קורסי קדם:

מידול כריית תהליכים (ניתן בסמסטר ב)

דרישות נוספות:

קורסים בנושא למידת מכונה ,פייתון

מקורות:

  1. http://ceur-ws.org/Vol-2938/paper-PROBLEMS-51.pdf
  2. https://arxiv.org/pdf/2203.07507.pdf

604 Adversarial Attack on Neural-Networks-based models for Object Detection and Segmentation

התקפות על מודלים של למידה עמוקה למשימות של זיהוי

שם המנחה: אברהם רביב
אחראי/ת אקדמי/ת:  פרופ' הלל קוגלר

הרקע לפרויקט:

בעזרת זיהוי שגיאות וחולשות במודלים של למידה עמוקה ניתן להבין את התנהגותן באופן יותר טוב ובכך לשפר את הרובסטיות שלהם

מטרת הפרויקט:

לפתח אלגוריתם המוצא דוגמאות אדברסריאליות במודלים של למידה עמוקה עבור משימות של זיהוי אובייקטים וסגמנטציה. מטרת ההתקפה היא להיות אדפטיבית לתמונה ולכלול כמה שפחות רעש, ועם זאת להטעות את המודל. בשלב הבא המטרה תהיה לחזק את הרובסטיות של המודל בעזרת אותן דוגמאות אדברסריאליות.

תכולת הפרויקט:

  • פיתוח התקפה על מודלים קיימים.
  • אימון מחדש של המודל עם הדוגמאות החדשות מתוך מטרה לשפר את הרובסטיות שלו.

קורסי קדם:

  • formal verification and synthesis.

דרישות נוספות:

  • יכולת תכנות גבוהה

מקורות:

  1. https://github.com/mathcbc/advGAN_pytorch

605 Using Formal Verification Methods for Reinforcement Learning

שימוש בכלים של אימות פורמלי עבור למידה מבוססת חיזוקים

שם המנחה: אברהם רביב
אחראי/ת אקדמי/ת:  פרופ' הלל קוגלר

הרקע לפרויקט:

מודלים של למידה מבוססת חיזוקים נוטים להיות לא יציבים ולעיתים לא מצליחים להתכנס. בעזרת שימוש בכלים של אימות פורמלי ניתן לקבל מידע שיעזור לסוכן ללמוד ולהגיע להתכנסות יציבה.

מטרת הפרויקט:

להצליח להראות תרומה של כלי אימות פורמלי עבור בעיות גדולות של למידה מבוססת חיזוקים.

תכולת הפרויקט:

בנייה ותכנון של בעיות בסקייל גדול שניתן להשתמש עבורן בכלי אימות פורמלי על מנת לייצב את הלמידה ולאפשר לה להתכנס.

קורסי קדם:

  • formal verification and synthesis.

דרישות נוספות:

  • יכולת תכנות גבוהה

מקורות:

  1. https://scholar.google.co.il/scholar_url?

606 Developing and analyzing variational quantum algorithms that are based on amplitude encoding

פיתוח וניתוח אלגוריתמים קוונטיים ואריאציונים מבוססי קידוד אמפליטודה

שם המנחה: Adi Makmal
אחראי/ת אקדמי/ת: ד"ר עדי מכמל

הרקע לפרויקט:

Variational quantum algorithms (VQAs) are currently the state-of-the-art in quantum algorithmic design for noisy quantum computers. While it is widely believed that such algorithms have the potential to outperform classical heuristics, no such demonstration has yet been performed. In Makmal's group we study VQAa that employ what is known as ``amplitude encoding" which allows us to solve optimization problems of dimension N using merely log N qubits, thereby decreasing the qubit requirement exponentially, compared to standard methods.

מטרת הפרויקט:

The goal of this project is to develop and analyze qubit efficient VQAs, in particular for combinatorial NP-hard problems, where we hope to demonstrate, for the first time, a practical quantum improvement over classical heuristics.

תכולת הפרויקט:

  1. Understand the in-house qubit efficient quantum algorithm.
  2. Run the quantum algorithm on noiseless simulation, noisy simulation, and real quantum hardware - optimize relevant hyper parameters.
  3. Solve the combinatorial problem with known classical heuristics, as well as with exhaustive search (when possible).
  4. Perform a detailed analysis and comparison of the classical and the quantum performances.

קורסי קדם:

  • Quantum computing (83807) - mandatory

דרישות נוספות:

Advantage (Not mandatory):

  • Quantum machine learning (83674)
  • Introduction to machine learning (83622)

מקורות:

  1. Harrigan, M. P., Sung, K. J., Neeley, M., Satzinger, K. J., Arute, F., Arya, K., ... & Babbush, R. (2021). Quantum approximate optimization of non-planar graph problems on a planar superconducting processor. Nature Physics17(3), 332-336. https://arxiv.org/abs/2004.04197

607 Multi-agent reinforcement learning of traffic routing in networks of autonomous vehicles

למידה מבוססת חיזוקים ומרובת סוכנים של ניתוב רכבים אוטונומיים ברשתות עירוניות

שם המנחה: ליאון רביב
אחראי/ת אקדמי/ת: פרופ' אמיר לשם

הרקע לפרויקט:

בעתיד חלק ניכר מהתעבורה יהיה על ידי כלי רכב אוטונומיים. בפרויקט אנו ננסה לפתח שיטות ללמידה מבוזרת של ניתוב כלי רכב ברשתות עירוניות תוך שימוש בכלים של למידה מרובת סוכנים ומבוססת חיזוקים על ידי מידול של התעבורה כמשחק עומס מרקובי

מטרת הפרויקט:

פיתוח אלגוריתם למידה מרובה סוכנים לניהול תעבורה של כלי רכב אוטונומיים ברשת עירונית

תכולת הפרויקט:

בנית סימולציה של תעבורה עירונית תוך שילוב של מודלים של השפעת עומס על מהירות תנועה.
פיתוח אלגוריתם ללמידה שיתופית של ניתוב של כלי רכב תוך שימוש במידע מכלי רכב אחרים

קורסי קדם:

  • קורס בתהליכים אקראיים
  • קורס תיכנות מתקדם

 

מקורות:

  1. R. S. Sutton and A. G. Barto, Reinforcement learning: An introduction. MIT press, 2018
  2. T. Chu, J. Wang, L. Codecà, and Z. Li, “Multi-agent deep reinforcement learning for large-scale traffic signal control,” IEEE Transactions on Intelligent Transportation Systems, vol. 21, no. 3, pp. 1086–1095, 2019.
  3. H. Zhang, S. Feng, C. Liu, Y. Ding, Y. Zhu, Z. Zhou, W. Zhang, Y. Yu, H. Jin, and Z. Li, “Cityflow: A multi-agent reinforcement learning environment for large scale city traffic scenario,” in The world wide web conference, 2019, pp. 3620–3624.
  4. A. K. Sadhu and A. Konar, Multi-Agent Coordination: A Reinforcement Learning Approach. John Wiley & Sons, 2020

608 Learning to Solve CTF Challenges and Course Assignments

למידה של אתגרי CTF ומשימות בקורסים

שם המנחה: Hillel Kugler
אחראי/ת אקדמי/ת: פרופ' הלל קוגלר

הרקע לפרויקט:

בשנים האחרונות חידות CTF הפכו לפופולריות ומשמשות לאתגר עבור מהנדסים, סטודנטים ותלמידים. כמו כן ארגונים שונים יוצרים תחרויות שונות המבוססות חידות אלו. תחרויות אלו נועדו לשם הנאה וגם למידה של המושגים השונים בתחום, וכן לשם פיתוח החשיבה והיצירתיות.

מטרת הפרויקט:

מטרת הפרויקט ליצור אתר המכיל חידות מסוגים שונים (web, cyber, formal , biological computation) .נרצה לאתגר את הסטודנטים בפקולטה כדי שיוכלו להתאמן כיצד לפתור חידות אלו, להתנסות ולהכיר חידות שונות, וכן לקבל פידבק על הפתרון ולהתאים את דרגת הקושי של החידות ליכולת הסטודנט. האתר גם יוכל לשמש להנגשת משימות בקורסים בעלי אופי אלגוריתמי

תכולת הפרויקט:

הפרויקט מתחלק לארבעה חלקים: א. בניית עמוד הבית של האתר. ב. בניית חידות פרמטריות מכל תחום. ג. בניית מנגנון פידבק ודירוג קושי של חידות. ד. בניית ממשק ידידותי לחידות ואינטגרציה בדף הבית של האתר. הפיתוח יתבצע באופן איטרטיבי תוך קבלת פידבק ממשתמשים ראשונים של המערכת.

קורסי קדם:

Formal Verification

מקורות:

  1. https://ctftime.org/ctfs
  2. https://www.enisa.europa.eu/publications/ctf-events
 

פרויקטים נוספים מומלצים

802 Adaptive cost-sensitive learning approach for resource constraint based multi-class classification problem

גישת למידה רגישה לעלויות אדפטיבית לסיווג מרובה קלאסים מבוסס אילוצים

שם המנחה: גונן זינגר
אחראי/ת אקדמי/ת: דר' גונן זינגר

הרקע לפרויקט:

בעולם האמיתי קיימים מספר גדול של יישומים עבור סיווג מרובה קלאסים תוך הקצאה של משאבים מוגבלים. לדוגמא סיווג אנשים לרמת חומרה של מחלה (כאשר יש יותר מ-2 רמות) תוך הקצאת תרופות ומשאבים רפואיים מוגבלים. השקעה במניות על פי רמת ביצועים, תוך שימוש בתקציב מוגבל. לאחרונה פותחה גישה לסיווג בינארי מבוסס אילוצים עבור אלגוריתמים מבוססי עצי החלטות. הגישה מתאימה עבור בעיות בינאריות בלבד. מטרת הפרויקט להרחיב את הגישה עבור בעיות מרובות קלאסים.

מטרת הפרויקט:

במסגרת הפרויקט הסטודנטים יפתחו מסגרת עבודה להרחבת השיטה הבינארית לסיווג מוגבל במשאבים לבעיות סיווג מרובות קלאסים. כמו כן יפתחו הסטודנטים קוד בפייתון ליישום של השיטה ולבסוף ישוו את ביצועי השיטה על בסיס נתונים מתאים והשוואה לגישות קונבנציונאליות שהאילוץ נלקח בחשבון לאחר תהליך הלמידה.

תכולת הפרויקט:

  1. הפרויקט יפתח אלגוריתם עבור סיווג מרובה קלאסים מותנה באילוצים.
  2. הסטודנט יקודד בפייתון את האלגוריתם והשיטה עבור עצי החלטות.
  3. הסטודנט יישם את השיטה על בסיס נתונים וישווה את הביצועים לשיטות קונבנציונאליות קיימות.

קורסי קדם:

  1. קורס מבוא להסתברות וסטטיסטיקה.
  2. קורס כריית מידע וויזואליזציה של נתונים.

מקורות:

  1.  טיוטת מאמר Adaptive cost-sensitive learning approach for resource constraint based binary classification problem.
  2. Gutierrez, P.A.; Perez-Ortiz, M.; Sanchez-Monedero, J.; Fernandez-Navarro, F.; Hervas-Martinez, C. Ordinal regression methods: Survey and experimental study. IEEE Transactions on Knowledge and Data Engineering 2015, 28(1), 127-146.‏

911 Development of a neural network platform – Convolution engine

פיתוח פלטפורמת תוכנה למאיץ רשתות נוירונים – מנוע קונבולוציה

שם המנחה: אליהו לוי
אחראי/ת אקדמי/ת: ד"ר ד"ר לאוניד יביץ, פרופ' אדם תימן

הרקע לפרויקט:

רשתות נוירונים עמוקות הן הבסיס לאפליקציות רבות בחיינו, כמו למשל זיהוי פנים, עיבוד קול, ועיבוד שפה. ארכיטקטורות מבוססות קונבולוציה הן מבין הפופולארית ביותר בתחומים רבים ובעיקר בתחום עיבוד התמונה. ככל שרשתות אלו גדלות אנו נתקלים בשתי בעיות עיקריות. הראשונה, צריכה של משאבי חישוב רבים. השנייה היא שימוש בשטח אחסון רב. במהלך השנים פותחו מאיצי חומרה שונים על מנת להתמודד עם בעיות אלו. מאיצים אלה מתחלקים לשתי קטגוריות עיקריות: א. Hardware accelerator for deep neural network training. מאיצים לשלב אימון המודל. ב. Hardware accelerator for deep neural network inference. מאיצים העושים שימוש במודלים מאומנים. בשתי הקטגוריות מאיצי רשתות אלה עושים שימוש רב בפעולות בלתי תלויות ובפעולות מרחביות, דבר המאפשר שימוש בטכניקות חישוב מקבילי (parallel processing).

מטרת הפרויקט:

בניית פלטפורמת תוכנה התומכת ב deep neural network inference להרצה של מודלים המותאמים למיקרו מעבדים, ואשר מסוגלת לתמוך במודלים המוגדרים כיום כ state of the art.

תכולת הפרויקט:

התאמת הפלטפורמה כך שתתמוך בפעולות שבהן נעשה שימוש במודלים אשר מוגדרים כstate of the art ובעיקר רשתות המוביל השונות (Mobilenet).
הסקת מסקנות לגבי בחירת הארכיטקטורה המתאימה למאיץ על בסיס פלטפורמת התוכנה (software profiling).

קורסי קדם:

  • מבוא ללמידת מכונה (83622 ) או כריית מידע וייצוג מידע (83676)
  • תכנות מונחה עצמים (83223)
  • מיקרו מעבדים ושפת אסמבלר (83255)
  • מבנה מחשבים ספרתיים (83301).

דרישות נוספות:

  • ידע בסיסי בשפת ורילוג
  • הבנה של תהליכי עיבוד מקביליים.

 

מקורות:

  1. https://en.wikipedia.org/wiki/Convolutional_neural_network
  2. Howard, Andrew G., Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. 2017. “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications.” ArXiv [Cs.CV]. https://doi.org/10.48550/ARXIV.1704.04861. https://arxiv.org/abs/1704.04861

  3. He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2015. “Deep Residual Learning for Image Recognition.” ArXiv [Cs.CV]. https://doi.org/10.48550/ARXIV.1512.03385. https://arxiv.org/abs/1512.03385

  4. https://www.tensorflow.org/lite/performance/post_training_quantization

912 Development of a neural network platform – Data compression engine

פיתוח פלטפורמת תוכנה למאיץ רשתות נוירונים – מנוע דחיסת זיכרון

שם המנחה: אליהו לוי
אחראי/ת אקדמי/ת: ד"ר לאוניד יביץ, פרופ' אדם תימן

הרקע לפרויקט:

רשתות נוירונים עמוקות הן הבסיס לאפליקציות רבות בחיינו, כמו למשל זיהוי פנים, עיבוד קול, ועיבוד שפה. ארכיטקטורות מבוססות קונבולוציה הן מבין הפופולארית ביותר בתחומים רבים ובעיקר בתחום עיבוד התמונה. ככל שרשתות אלו גדלות אנו נתקלים בשתי בעיות עיקריות. הראשונה, צריכה של משאבי חישוב רבים. השנייה היא שימוש בשטח אחסון רב. במהלך השנים פותחו מאיצי חומרה שונים על מנת להתמודד עם בעיות אלו. מאיצים אלה מתחלקים לשתי קטגוריות עיקריות: א. Hardware accelerator for deep neural network training. מאיצים לשלב אימון המודל. ב. Hardware accelerator for deep neural network inference. מאיצים העושים שימוש במודלים מאומנים. הקטגוריה השנייה עושה שימוש במשאבי חומרה מוגבלים בעיקר בתחום הזכרונות. הפתרונות האפשריים מגוונים, אך מידת היעילות שלהן תלויה בארכיטקטורת המאיץ וסוג המודל. פלטפורמת תוכנה יעילה יכולה להצביע לנו על הפתרון המיטבי.

מטרת הפרויקט:

חקירת שיטות דחיסה שונות על מנת לצמצם גישות לזיכרון במודלים של רשתות נוירונים עמוקות, והרחבת פלטפורמת התוכנה שפותחה במעבדה בenics, על מנת לאפשר מחקר של שימוש בזיכרונות מתקדמים.

תכולת הפרויקט:

שימוש בממשק הDDR על מנת להעביר כמויות מאסיביות של מידע למאיץ רשתות נוירונים שפותח בenics (MANNIX) ברשתות קיימות.
חקירת שיטות שונים לדחיסת נתונים שיהוו בסיס לשיפור המאיץ החומרתי.
הסקת מסקנות לגבי בניית מודל החומרה של המאיץ על בסיס פלטפורמת התוכנה (software profiling).

קורסי קדם:

  • מבוא ללמידת מכונה (83622 ) או כריית מידע וייצוג מידע (83676)
  • תכנות מונחה עצמים (83223)
  • מיקרו מעבדים ושפת אסמבלר (83255)
  • מבנה מחשבים ספרתיים (83301).

דרישות נוספות:

  • ידע בסיסי בשפת ורילוג
  • הבנה של תהליכי עיבוד מקביליים.

מקורות:

  1. https://en.wikipedia.org/wiki/Convolutional_neural_network
  2. Han, Song, Huizi Mao, and William J. Dally. 2015. “Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding.” ArXiv [Cs.CV]. https://doi.org/10.48550/ARXIV.1510.00149. https://arxiv.org/abs/1510.00149

  3. https://www.tensorflow.org/lite/performance/post_training_quantization
  4. https://he.wikipedia.org/wiki/DDR_SDRAM