נציגות מכובדת של הפקולטה להנדסה בכנס ICLR 2021

המאמר הראשון, "Auxiliary Learning by Implicit Differentiation", עוסק בלמידה דרך משימות עזר. "המאמר בודק איך אפשר, במצב בו אין כמעט תיוגים על המשימה הראשית, להשתמש במשימות עזר כדי להגיע לתוצאות אופטימליות", מסביר ד"ר פתיה. "לדוגמה, משימה של זיהוי מדויק של זני ציפורים. יש הרי מאות זנים, ורק מומחה יצליח להבדיל במדויק בין חופית אדומת-צוואר לחופית ארוכת-אצבעות, למשל. אבל אפשר לחלק את המשימה למשימות קלות יותר, שיכולות לסייע לנו עם הסיווג. לדוגמה צורת המקור, או צבע הכנפיים. אלה משימות שכל אדם סביר יוכל לעשות, והרבה יותר קל להשיג סיווגים שלהן. במאמר הצלחנו להראות שלמרות מעט מאוד תיוגים על המשימה הראשית, אפשר להגיע לשיפור משמעותי בביצועים בעזרת משימות העזר." את המחקר הובילו הדוקטורנט אביב נבון, הדוקטורנט עידן אחיטוב, ד"ר פתיה, פרופ' צ'צ'יק וד"ר חגי מרון מקבוצת המחקר של Nvidia.

 גם על המאמר השני חתומים ד"ר פתיה, פרופ' צ'צ'יק והדוקטורנט אביב נבון, הפעם יחד עם הדוקטורנט אביב שמסיאן. המאמר, "Learning the Pareto Front with Hypernetworks", עוסק במזעור טעויות במהלך ביצוע מספר משימות במקביל. "כאשר יש לי כמה משימות שאני מנסה לבצע במקביל, המטרה שלי היא לבצע את כולן בצורה אופטימלית ולהימנע במידת האפשר מטעויות. לא תמיד זו משימה פשוטה: למשל כשאני מנסה למיין מועמדים למשרה מסוימת לפי ההשכלה, הידע והניסיון שלהם, אבל במקביל מנסה להימנע מאפליה על רקע מגדר או לאום," אומר פתיה. "על פי רוב, כשמדובר בשילוב של משימות מורכבות, אין פתרון אופטימלי אחד – יש שורה של אפשרויות שהאלגוריתם יכול להציע לך: למשל, להגיע לתוצאה טובה מאוד במשימה אחת, לתוצאה בינונית במשימה השנייה והשלישית ולתוצאה גרועה במשימה הרביעית. אבל בדרך כלל אתה לא יודע מראש איזה תוצאה אתה רוצה: אתה רוצה לדעת מה האלטרנטיבות העומדות בפניך כדי שתוכל לבחור מביניהן. הדרך היחידה לעשות את זה עד היום הייתה להריץ הרבה מאוד מודלים ולהסתכל על התוצאות - שיטה יקרה, שלוקחת זמן רב. אנחנו הצענו במאמר הזה להשתמש בשיטה שנקראת Hyper Network, שמנסה ללמוד בבת אחת את כל התוצאות האפשריות. במצב כזה, ניתן לאמן מודל אחד משותף שיחזיר לך את כל האלטרנטיבות האפשרויות, ולבחור מביניהן את הפתרון המתאים לך ביותר."