כוחה של התמדה

בשנים האחרונות עובדים הסטודנטים והסטודנטיות במעבדה של פרופ' הלל קוגלר על שימוש בכלי אימות פורמלי עבור בעיות של בינה מלאכותית, בפרט על סוכנים שלומדים באמצעות למידה מבוססת חיזוקים (deep reinforcement learning). "פרויקטים קודמים עסקו בסוכנים יחסית פשוטים, אולם בשנה שעברה כבר הרחבנו את החיבור בין התחומים גם לסוכנים יותר מתקדמים, הלומדים באמצעות רשתות נוירונים. הפרויקטים נדרשו לממש פתרון שפיתחנו במעבדה לשיפור אלגוריתם מסוים, כאשר כל אחד מהפרויקטים נדרש לממש את הפתרון עבור בעיה אחרת", מספר הדוקטורנט אברהם רביב.

שניים מהפרויקטים במעבדה, תחת הנחייתו של רביב, נעשו על ידי שיאל ויסטוך, אראל דקל ובועז גורביץ׳, סטודנטים תיכוניסטים במסלול הנדסת מחשבים. "שני הפרויקטים נדרשו לבצע שימוש בכלי אימות על מנת לשפר את הלמידה של רשתות הנוירונים העומדות בבסיס המנגנון של הסוכנים. זה דרש מהם לאמץ כלי אימות חדשניים המתאימים לרשתות נוירונים", מפרט רביב. "פרויקט אחד הראה זאת בהצלחה על בעיה שנקראת frozen lake, ומלבד עצם המחשת הרעיון, הסטודנטית שיאל הצליחה להראות שזה עובד גם על בעיות בסקאלה בינונית ולא רק קטנה. בפרויקט השני הסטודנטים אראל ובועז ביצעו מימוש של רעיון זהה על בעיה אחרת, מורכבת יותר מטבעה, במסגרת משחק חשיבה יפני בשם סוקובן".

"המטרה שלנו הייתה לראות האם כלי למידת מכונה מבוסס חיזוקים ואימות פורמלי יכולים לחזק אחד את השני וליצור סוכן חכם יותר. היות ולא היה לנו הרבה ידע, התחלנו לחקור על שני התחומים, ואברהם, המנחה שלנו, סיפק לנו מאמרים והסביר לנו כיצד הפרויקט יבנה", מספר הסטודנט אראל דקל, היום כבר חייל. "לאט לאט התחלנו לבנות סוכן למידה מבוססת חיזוקים פשוט, והוספנו לו כלי אימות פורמלי, שמטרתם לוודא שלסוכן יש מטרה ושהוא לא עושה סתם סיבובים. את התוכנה עשינו בועז ואני עצמאית, אבל אברהם היה שם בשבילנו בכל בעיה שנתקלנו בה, ענה על שאלות ונפגש איתנו פרונטלית בפקולטה".

אמנם, מספר רביב, כל אחד מהפרויקטים התמודד עם הבעיה אחרת, אולם במהלך השנה הרבו הסטודנטים להתייעץ זה עם זה, ועבדו בשיתוף פעולה הדדי. "בסופו של דבר שני הפרויקטים הצליחו להשתמש במה שפיתחנו במעבדה עבור בעיות חדשות. לכן, החלטנו לכתוב מאמר שמציג את הרעיון התיאורטי והיישום שלו כפי שהוצג בכל אחד מהפרויקטים"

מפרויקט גמר למאמר בכנס – בפעם השלישית ברציפות

המאמר, שנכתב במשותף, דרש חלוקת עבודה: המנחה רביב היה אחראי על החלק התיאורטי. החלק הניסויי כלל שני חלקים, אחד לכל פרויקט, אותו כתבו הסטודנטים, כשהתוצאות של שני הפרויקטים ביססו את התיאוריה. "כתיבת המאמר הייתה אתגר", מודה אראל. "בועז היינו אחראים על לכתוב הסברים על הפרויקט שלנו, להביא ממנו דוגמאות שמוכיחות את יעילות השילוב של כלי למידה מבוססת חיזוקים ואימות פורמלי, ועל החלק של related work. בנוסף, היינו צריכים לקרוא את שאר חלקי המאמר ולהעיר הערות. בחלק הפורמלי יותר, של ההוכחות והתיאוריות, עסקו המנחים. השקענו בפרויקט הזה ובמאמר המון".

המאמר הוגש לפרסום אך נדחה, שנת הלימודים נגמרה וכל שלושת הסטודנטים התגייסו לצה"ל. אך רביב, המנחה, לא ויתר. במהלך השנה החולפת הוא המשיך לעבוד על המאמר ולשפר אותו. החודש הוא התבשר שהמאמר התקבל לכנס בשם International Symposium on Theoretical Aspects of Software Engineering, שיערך בחודש יולי בלימסול שבקפריסין.

"כשאברהם התקשר לספר לי שהמאמר התקבל לכנס הייתי בחדר אוכל בצבא ובקושי הצלחתי לשמוע אותו. אפילו לא ידעתי שהוא הוגש שוב, וכמובן שהתרגשתי ושמחתי מאוד", מספר אראל. "לקראת הפרסום היינו צריכים לשנות כמה דברים, ולמרות ששלושתנו כבר חיילים – התגייסנו לעזור, לשנות ולתקן כל מה שצריך".

"זו שנה שלישית שפרויקט גמר במעבדה שלנו הופך למאמר שמפורסם בכנסים בינלאומיים - זה תמיד מרגש מחדש, וכל מאמר עובר דרך שונה", אומר רביב. "הסטודנטים התאמצו, לא ויתרו גם כשהיו אתגרים, הציעו רעיונות חדשניים ויפים, ובסוף הגיעו לתוצאות מעולות. זו הזדמנות גם להוקיר תודה לפרופ' הלל קוגלר שמלווה את הכל מלמעלה ותמיד דוחף אותנו קדימה".