Software system for presenting and mining processes from video

הרקע לפרויקט:

הפרויקט משמש כמדגים טכנולוגיה לזיהוי פעולות תהליך בוידאו. ביצוע הפרויקט דורש שתי קבוצות שיעבדו בתיאום. למרות שיש חפיפה ואינטגרציה בין הקבוצות יהיו שני מיקודים:

1. בניית מערכת התוכנה
2. עיסוק ברשתות למידה עבור וידאו וקבלת החיזוי

מטרת הפרויקט:

מהות הפרויקט הוא בנייה של מערכת תוכנה כולל מסכים, ממשקים ולוגיקה.

המערכת מקבלת כקלט סרטון וידאו המתאר תהליך (למשל, הכנת ארוחת בוקר, בניית בית וכדומה) עבורו קיים מודל ידוע.

על הסרטון תופעל רשת למידה עמוקה אשר תוצאתה חיזוי של הפעולות שבוצעו הסרטון + אלגוריתם לשיפור החיזוי.

בשלב א - יופעלו רשתות סטנדרטיות ובשלב ב - כולל אלגוריתם השיפור והשוואתו למודל תהליך לזיהוי פערים.

הפלט יהיה רשימת הפעולות שקרו בסרטון והשוואה למודל התהליך.

תכולת הפרויקט:

סקר ספרות, איפיון המערכת, לימוד הטכנולוגיה הרלוונטית וקבלת החלטות (שפת תוכנה, ארכיטקטורה), פיתוח ועיצוב, בדיקות ותיקונים.

קורסי קדם:

יש לקחת קורס מידול וכריית תהליכים, קורס מבוא ללמידת מכונה (יכול להיות במקביל)

דרישות נוספות:

ידע טוב בתכנות, אם לא נלמד בפקולטה - יש לקחת קורס למידה עמוקה בפלטפורמת אונליין.

מקורות:

https://ceur-ws.org/Vol-2938/paper-PROBLEMS-51.pdf
https://arxiv.org/pdf/2208.03775.pdf