Softmax hardware accelerator

הרקע לפרויקט:

בחמשת השנים האחרונות חלה התקדמות משמעותית במודלים ללמידה עמוקה. מודל הTransformer המבוסס על מנגנון הAttention הוא הגורם המשמעותי ביותר לכך. על אף ההתקדמות, מודל זה דורש משאבי חומרה רבים. הגורמים המרכזיים לכך הם כמות הפרמטרים (GPT3 למשל דורש 175 מיליארד פרמטרים), שימוש בייצוג floating point (IEEE 754) ושימוש בפונקציית ה softmax.

מטרת הפרויקט:

בפרוייקט זה נחקור שיטות שונות למימוש יעיל של פונקציית הsoftmax. המשתתפים ילמדו על שיטות מימוש שונות החל מרמת האלגוריתם, דרך מימוש בחומרה ולבסוף מדידת תוצאות. תוך כדי הפרוייקט הסטודנטים יחקרו את ההשפעה של מימוש השיטות השונות על המטריקות:(PPA) Power, Performance, Area.

תכולת הפרויקט:

• כתיבת אלגוריתם יעיל לביצוע פעולת softmax
• מימוש חומרתי בשפת ורילוג של האלגוריתם המוצע
• סינטזה למימוש החומרתי ומדידת תוצאות
• בדיקת נכונות ברמת הGate-level
• סינטזה לכרטיס FPGA
• מדידת תוצאות על כרטיס הFPGA

קורסי קדם:

מעגלים אלקטרוניים ספרתיים (83308), מעבדה למעגלים אלקטרוניים ספרתיים (83315), מעגלים משולבים ספרתיים (83313)

דרישות נוספות:

שפת ורילוג, ידע בלמידת מכונה, כתיבת קוד בשפת C

מקורות:

1. I. Kouretas and V. Paliouras, "Simplified Hardware Implementation of the Softmax Activation Function," 2019 8th International Conference on Modern Circuits and Systems Technologies (MOCAST), Thessaloniki, Greece, 2019, pp. 1-4, doi: 10.1109/MOCAST.2019.8741677.
2. Y. Gao, W. Liu and F. Lombardi, "Design and Implementation of an Approximate Softmax Layer for Deep Neural Networks," 2020 IEEE International Symposium on Circuits and Systems (ISCAS), Seville, Spain, 2020, pp. 1-5, doi: 10.1109/ISCAS45731.2020.9180870.
3. Nilsson, Peter, Ateeq Ur Rahman Shaik, Rakesh Gangarajaiah and Erik Hertz. “Hardware implementation of the exponential function using Taylor series.” 2014 NORCHIP (2014): 1-4. https://www.eit.lth.se/sprapport.php?uid=805