Analysis and Inference of DEEP learning models

הרקע לפרויקט:

מודלים של למידה עמוקה מצריכים משאבים רבים של זיכרון וכח מיחשוב חזק. פרויקט זה עוסק בניתוח ואופטימיזציה של מערכות למידה עמוקה בזמן האימון והשימוש במודלים.

מטרת הפרויקט:

מטרת הפרויקט הנה להקטין את גודל המודלים ולהקטין את העומס החישובי על ה GPU תוך שמירה על ביצועים (BIT EXACT ). במהלך הפרויקט יבחנו ביצועים של מספר מודלים מסחריים (התלמידים יעשו סקר ספרות על שוק ה [1-3] CHATBOTS ), מודלים אשר פותחו במעבדה ומודלים שיפותחו במהלך הפרויקט.
בפרויקט נבחן ביצועים של המערכת כתלות בגודל משתנה המודל (double vs. Int16 וכו') ומספר הפרמטרים ביחס למודל המקורי.
כמו כן תבדק סיפריית JIT לפיתון [ 8-10 ] לצורך שיפור ביצועים ב CPU ויבחנו כלי PROFILING ל CPU [11]

תכולת הפרויקט:

במסגרת הפרויקט יבחנו מגוון כלים אשר נמצאים בשוק, למשל:
1. עבודה עם כלים לביצוע PROFILING לנצילות השימוש ב GPU [6]
2. כלים ל MODEL INFERANCE [4,5]
3. השוואת ביצועים בעזרת מדדים סטטיסטיים.

קורסי קדם:

פיתון ברמה גבוהה

מקורות:

1. https://openai.com/blog/introducing-chatgpt-and-whisper-apis
2. https://bard.google.com/chat
3. https://lmsys.org/blog/2023-03-30-vicuna/
4. https://developer.nvidia.com/tensorrt-getting-started
5. https://onnx.ai/
6. https://developer.nvidia.com/nsight-systems/get-started
7. https://developer.nvidia.com/nsight-compute
8. https://numba.pydata.org/
9. https://numba.readthedocs.io/en/stable/user/5minguide.html
10. https://www.nvidia.com/en-us/glossary/numba/
11. https://docs.python.org/3/library/profile.html#module-cProfile