פרופ’ גונן זינגר וד״ר שחר סומין זכו במענק בתחום ה-AI

רשתות נוירונים עמוקות מורכבות ממיליוני ואף מיליארדי פרמטרים חישוביים, המאורגנים בשכבות ובמבנים שונים. מורכבות זו מאפשרת למודלים של למידה עמוקה להגיע לביצועים מרשימים, אך כרוכה גם בעלויות חישוב גבוהות, זמני אימון ממושכים וזמני הסקה (Inference) ארוכים. אחת הגישות המרכזיות להתמודדות עם אתגר זה היא קיצוץ רשתות נוירונים(Neural Network Pruning) , תהליך שמטרתו לצמצם את מספר הפרמטרים או הרכיבים הפעילים ברשת, תוך שמירה על רמת הביצועים שלה.

“מודלים של למידה עמוקה מציגים ביצועים יוצאי דופן, אך לעיתים קרובות הם גדולים, כבדים ויקרים מבחינת משאבי חישוב וזיכרון. קיצוץ אופטימלי של רשתות נוירונים, מבלי לפגוע בביצועיהן, הוא אחד האתגרים המרכזיים כיום בתחום הלמידה העמוקה”, אומר פרופ’ גונן זינגר.

פרופ’ זינגר וד”ר שחר סומין עובדים בימים אלו על פיתוח שיטה חדשה לקיצוץ אוטומטי, אדפטיבי ומוכוון־משימה של רשתות נוירונים. עבודתם המשותפת זיכתה אותם במענק מחקר מטעם משרד החדשנות, המדע והטכנולוגיה, במסגרת המסלול היוקרתי של בינה מלאכותית פורצת דרך .השנה זכו פחות מ־20 קבוצות מחקר, מכל רחבי הארץ, במענק יוקרתי זה.

לדברי פרופ’ זינגר, לשיטות הקיצוץ הקיימות כיום יש שני חסרונות עיקריים. הראשון הוא אופיין הכללי: מרבית השיטות מבצעות קיצוץ אחיד של הרשת, ללא התאמה למשימה מסוימת או לבסיס נתונים ספציפי. החיסרון השני הוא שעומק הקיצוץ, כלומר, שיעור הרכיבים המוסרים מהרשת, נקבע מראש באופן ידני. כתוצאה מכך, לא ניתן לדעת מראש האם הקיצוץ יפגע בביצועים, ומהי רמת הקיצוץ המקסימלית האפשרית שתשמור על איכות המודל.

המחקר של פרופ’ זינגר וד”ר סומין מתמודד עם שני אתגרים אלו, ומתמקד בפיתוח גישה אוטומטית ואדפטיבית לקיצוץ רשתות נוירונים. גישה זו שואפת לבחור, כחלק מתהליך הלמידה עצמו, את רמת הקיצוץ האופטימלית עבור משימה ובסיס נתונים, תוך שמירה על ביצועי המודל.
“ראשית, אנו מציעים לבצע קיצוץ מוכוון־משימה, כך שמשימות שונות יובילו למבני רשת מקוצצים שונים. שנית, רמת הקיצוץ תיקבע באופן אוטומטי ותהיה מקסימלית, בכפוף לכך שביצועי הרשת לא ייפגעו”, מסביר פרופ’ גונן זינגר.

במסגרת המחקר יפתחו פרופ’ זינגר וד”ר סומין מתודולוגיה להערכת התרומה של כל רכיב ברשת לביצוע משימה ספציפית. בנוסף, הקשרים הפונקציונליים בין רכיבי הרשת ייוצגו באמצעות מודלים גרפיים, במטרה לזהות תת־קבוצה מינימלית של רכיבים בעלי תרומה משלימה, אשר יחד משמרים את יכולות החיזוי של המודל המלא. שיטה זו צפויה לאפשר פיתוח של מודלים קטנים יותר, מהירים ויעילים מבחינת משאבי חישוב וזיכרון, ולהרחיב את השימוש בלמידה עמוקה בתחומים רגישים כגון רפואה, ביטחון ופיננסים, גם בסביבות שבהן משאבי מחשוב מוגבלים.