Log domain transformer - (software design and integration in SOC)

הרקע לפרויקט:

מעבר לlog domain הוכח כיעיל באופן תיאורטי לפתור בעיות של סיבוכיות חומרה במודלים מבוססי transformers בתחומי השפה (LLM) והראיה הממוחשבת (CV). בפרוייקט זה נשתף פעולה עם צוות אשר ממש מאיץ שמבצע מעבר לlog domain נבצע איטגרציה לתוך system on chip (SOC) ונבדוק ביצועים.

מטרת הפרויקט:

כתיבת קוד ב-C ובורילוג שמממש interface בין המאיץ לCPU. הרצה של מודל מבוסס transformer בלי לבצע פעולות כפל וחילוק ומדידת תוצאות.

תכולת הפרויקט:

סקירת ספרות של הדרכים למעבר מ- ואל הlog domain בחומרה
מימוש קוד ורילוג של הממשק (interface) בין החומרה לCPU.
איטגרציה בתוך מאיץ חומרה למודלים ללמידה עמוקה.
סינטזה עוברת של המודול.
ריצה של שלב אחד לפחות של הattention בgtl-level.

קורסי קדם:

83612 מעגלי ומערכות VLSI דיגיטליים,

דרישות נוספות:

למידת מכונה/ למידה עמוקה, תכן לוגי, קורס בשפת c/c++, מערכות הפעלה

מקורות:

1. https://arxiv.org/abs/1706.03762
2. https://en.wikipedia.org/wiki/Attention_(machine_learning)