לפצח את הקופסה השחורה

כבר במהלך לימוד התואר הראשון שלו בהנדסת חשמל התאהב ד"ר תום טירר בתחום עיבוד האותות. "זה תחום מתמטי, אלגנטי, עם עיסוק באלגוריתמיקה, ואהבתי את זה," הוא מספר. "התואר השני שלי עסק בשערוך פרמטרים, ובדוקטורט חקרתי שיטות לשחזור של אותות, ובפרט תמונות, מתוך מדידות חלקיות ו/או פגומות ע"י מידול מתמטי. אבל סיגנלים רבים בעולם האמיתי, למשל תמונות טבעיות, קשים למידול מתמטי, ובשלב הזה נכנס היתרון של שימוש בלמידת מכונה, ובפרט – למידה המבוססת על רשתות נוירונים עמוקות".

טירר (38) עשה את התואר הראשון שלו באוניברסיטת בן-גוריון, את התואר השני והדוקטורט – באוניברסיטת תל אביב. אחר כך המשיך לפוסט דוקטורט באוניברסיטת תל אביב ובמרכז למדע הנתונים באוניברסיטת ניו יורק. "חלק גדול מהמחקר שלי מתמקד בשחזור אותות: למשל יש לנו תמונה מלאה ברעש ואנחנו רוצים להוציא ממנה את התמונה הנקייה; או שנתונה לנו תמונה מטושטשת או ברזולוציה נמוכה, שממנה אנחנו רוצים לשחזר את התמונה המקורית, נקייה וברזולוציה גבוהה. משימות כאלה הן השלב הבסיסי בהרבה מערכות, שאחריו יכולים להגיע שלבים של זיהוי אובייקטים או סיווג", אומר טירר. לדבריו, ככל שהמחקר שלו התקדם, מצא עצמו משלב יותר ויותר כלים מתחום הלמידה העמוקה. "בתחום עיבוד האותות יש יתרון בכך שיש לך אלגוריתם שמבוסס על מודל מתמטי, כי אתה יכול לבצע עליו אנליזה מתמטית, לספק תיאוריה שחוזה את הביצועים של האלגוריתם, או לחסום את השגיאות שלו. הבעיה מתחילה כשרוצים לשחזר סיגנלים שאי אפשר למדל אותם מתמטית בצורה טובה. למשל, תמונות טבעיות שמצלמים עם המצלמה, שיכולות להיות נוף, משחק כדורגל או סלפי. הסיגנלים האלה קשים למידול מתמטי".

וכאן נכנס היתרון של שימוש בשיטות שמבוססות על למידה עמוקה. "בשיטות האלה מאמנים רשתות נוירונים עמוקות ע"י שימוש בדוגמאות רבות, מה שחוסך את הצורך לעשות מידול מתמטי של דאטה מסובך", מסביר טירר. "ניקח כדוגמה משימה, להפוך תמונה ברזולוציה נמוכה לתמונה טובה ברזולוציה גבוהה. הפתרון הנפוץ מבחינת למידת מכונה יהיה, בשלב הראשון, איסוף של הרבה תמונות טובות ברזולוציה גבוהה, ושימוש במודל מדידה פיזיקלי ידוע כדי להפוך כל אחת מהן לתמונה ברזולוציה נמוכה; ובשלב השני אימון של רשת נוירונים לעשות את המיפוי ההפוך - מהגרסה ברזולוציה הנמוכה לגרסה ברזולוציה הגבוהה שנתונה לנו בשלב האימון. כך, אנו חוסכים לעצמנו את הצורך למדל את התמונות עצמן. עם זאת, לשיטה הזו יש שני חסרונות עיקריים: הראשון הוא שקודם יכולנו לפתח תיאוריה ולהבין מה קורה במהלך האלגוריתם, ופה אופי הרשתות הוא כמו קופסה שחורה, אנחנו לא בדיוק יודעים מה קורה בכל שלב ברשת, ולרוב לא יכולים לעשות לה ניתוח מתמטי תיאורטי; והשני הוא שכשאימנו רשת לאיזושהי משימה מסוימת, השתמשנו באימון בקשר בין התמונה המקורית למדידה, אבל ברגע שמשהו יחרוג ממה שהנחנו בשלב האימון – השיטה לא תתפקד טוב, לעומת האלגוריתמים המסורתיים שהיו יותר גמישים למודל המדידה".

מסיבה זאת, חלק גדול מהדוקטורט של טירר עסק בשילוב בין הגישות: שימוש ברשתות נוירונים עמוקות כדי לחסוך מידול מתמטי של אותות מסובכים - בתוך מסגרת אלגוריתמית שתאפשר פלקסביליות במשימה. "יתרה מזאת," הוא מחדד, "השאיפה היא שאותה הרשת המאומנת תיתן לי אינפורמציה פריורית על הסיגנל ותאפשר לי לפתור בעיות שונות לגמרי ללא אימון מחדש, כי אני משלב אותה כמין אבן בניין בתוך סכימה מסורתית יותר כללית. כלומר, המטרה היא לאמן רשת שתרכוש ידע על הסיגנל בצורה מנותקת ממודל המדידה, למשל על ידי מודלים גנרטיביים, או מודלים רק להורדת רעש. בכדי לשלב בין שתי השיטות, אלה המבוססות על למידת מכונה ואלה שמבוססות על עיבוד אותות מסורתי יותר, אני משתמש בכלים מתקדמים מתחום האופטימיזציה".

כיום, המחקר של טירר מתחלק לשתי חזיתות עיקריות. חזית אחת היא אפליקטיבית בעיקרה: פתרון בעיות מתחום עיבוד התמונות על ידי שילוב כלים מתחומי עיבוד האותות, למידת מכונה ואופטימיזציה. "השיטות שלי הן לרוב ישימות לסיגנלים כלליים, אבל אני אוהב להדגים אותן על תמונות כי בתמונות רכישת אינפורמציה פריורית מאתגרת והכרחית וגם הממדים של הבעיות הם עצומים," הוא מסביר, "אפילו עבור תמונה קטנטנה של 250 על 250 פיקסלים שרוצים למשל לשפר לה את הרזולוציה פי 2 ישנם 500 בריבוע נעלמים שצריך לשערך. צריך להשתמש בשיטות אופטימיזציה טובות ויעילות חישובית, ולנצל דפוסים שחוזרים בתוך התמונה ובין תמונות שונות". החזית השנייה בה הוא עוסק היא יותר תיאורטית, ברמת ניתוח אלגוריתמים או תיאוריות של למידה עמוקה. "בפוסט דוק שלי עסקתי הרבה בניתוח של תופעות שרואים בלמידה עמוקה: לפני שנוכל לאמן רשת נוירונים, צריך לקבוע את הארכיטקטורה שלה, את החיבורים בין שכבות הרשת השונות, ואני חוקר איך ארכיטקטורות שונות משפיעות על ההתנהגות של הרשת, האם הפונקציה שנלמדת על ידי הרשת תהיה למשל חלקה יותר, או האם האופטימיזציה במהלך האימון תהיה קלה יותר. אני גם חוקר את ההתפתחות של הפיצ'רים, כלומר את הייצוגים שהרשת לומדת בשכבות השונות שלה".

אל הפקולטה להנדסה של אוניברסיטת בר אילן הצטרף טירר בחודש אוקטובר האחרון, כחלק מהמגמה החדשה למדעי הנתונים. בסמסטר הבא הוא ילמד קורס באופטימיזציה ובהמשך ילמד גם קורסים בנושאים מתקדמים בעיבוד אותות ותמונות. בינתיים, הוא מקים את קבוצת המחקר שלו. "אני מחפש סטודנטים לתואר שני ושלישי סקרנים ובעלי מוטיבציה גבוהה שיחקרו איתי נושאים בספקטרום הזה שבין עיבוד אותות ללמידת מכונה, חלקם ברמה התיאורטית וחלקם ברמה היישומית. מטרת העל שלי היא לשפר את ההבנה שיש לנו על שיטות שמשתמשות בלמידה עמוקה, בין אם כאבן בניין במסגרות אלגוריתמיות כלליות, או לחילופין, כפתרון מלא בפני עצמו, כך שנוכל להפעיל אותן באופן אפקטיבי ואמין, ולא כשימוש בקופסה שחורה".

נשמע מעניין? אתם מוזמנים ומוזמנות לפנות אל ד"ר טירר לפרטים נוספים ושליחת קורות חיים: tirer.tom@biu.ac.il

ד"ר תום טירר הולך ללמד החל משנת הלימודים הקרובה בתוכנית להנדסת נתונים