Neural Network Pruning Evaluation System

הרקע לפרויקט:

גיזום רשתות נוירונים הוא נושא חשוב ורלוונטי ביותר בתחום הלמידה העמוקה, מכיוון שהוא מאפשר להקטין את המורכבות של מודלים ולהפוך אותם ליעילים יותר מבחינת ביצועים וזמני ריצה. המערכת שתפותח בפרויקט זה תספק תמיכה מלאה בתהליך הגיזום ותכלול כלים להערכת השפעת הגיזום על ביצועי המודל. המערכת תאפשר למשתמשים להבין לעומק את השפעות הגיזום ולבצע אופטימיזציה למודלים בצורה היעילה ביותר.

מטרת הפרויקט:

מטרת הפרויקט היא ליצור מערכת מקיפה שתאפשר להעריך בצורה מדויקת את ביצועי רשתות הנוירונים לפני ואחרי קיצוץ, תוך פיתוח ממשקים לניטור ושיפור זמני ריצה, זיכרון ומשאבים נוספים. המערכת תספק כלים שיאפשרו למשתמשים לבצע אופטימיזציה למודלים שלהם ולהשיג ביצועים מרביים.

תכולת הפרויקט:

* מחקר וניתוח: ביצוע מחקר על גיזום והערכת רשתות נוירונים וניתוח ביצועים של מודלים שונים.
* פיתוח והטמעה: פיתוח מערכת הערכת ביצועים מתקדמת שתשווה בין ביצועי רשתות לפני ואחרי קיצוץ, ע"פ מגוון מדדים (מהירות, זמני ריצה, רובסטיות ועוד).
* פיתוח וטכנולוגיה: פיתוח מערכת End-to-End בסטנדרט פיתוחי גבוה, חשיפה לכלים וטכנולוגיות מובילים בתעשייה.

קורסי קדם:

* כריית מידע וייצוג מידע (83676)
* מבוא ללמידת מכונה (83622)
* תכנות פייתון (83011)

דרישות נוספות:

* למידה עמוקה (83882)
* עיבוד שפה טבעי (89680)

מקורות:

1. "WHAT IS THE STATE OF NEURAL NETWORK PRUNING", https://proceedings.mlsys.org/paper_files/paper/2020/file/6c44dc73014d6…
2. "RETHINKING THE VALUE OF NETWORK PRUNING", https://arxiv.org/pdf/1810.05270