פרק 5 - מייק ארליכסון: ארכיטקטורת הטרנספורמרים, מודלי שפה, והאתגרים של עולם ללא מידע טהור

בפרק אירחנו את מייק ארליכסון, דוקטור למתמטיקה מהטכניון, מומחה בינה מלאכותית ו-Machine Learning, וכיום עובד כ AI Tech Lead בחברת Salt Security.

מייק הוא אחד האנשים היותר פעילים בקהילת הבינה מלאכותית בארץ, Machine Learning Israel, שם, בפייסבוק ובטוויטר - הוא עובד על הנגשת התכנים האקדמיים לקהל רחב יותר על ידי סיכום מאמרים בקצרה ובעברית (הפינה נקראת #shorthebrewpapereviews). בנוסף, מייק גם כתב ספר deep learning בעברית, שזמין בחינם לכולם באינטרנט.

בפרק צללנו ישר אל מה היא ארכיטקטורת הטרנספורמים (Transformers), הארכיטקטורה שהיוותה את השינויי המשמעותי ביותר בעולם הAI בשנים האחרונות. דיברנו על מה עשה את הארכיטקטורה כל כך מיוחדת ושונה מהארכטיקטורות שקדמו לה, תהליך האימון שOpenAI עשו עם RLHF  - שהתוצר הסופי הוא לא פחות מ-ChatGPT שכולנו מכירים.

משם לקחנו את השיחה למקום קצת אחר, ופחות טכנולוגי: האתגרים בעולם בו אין יותר מידע "טהור," כלומר מידע שלא מותנה באידיאולוגיה או מניעים ספציפיים, אלא עובדות כעובודות. דיברנו על איך עולם הבינה מלאכותית מעצים את אותם אתגרים, והאם יש איך להילחם בזה - מהצד הטגנולוגי, וכן מהצד התרבותי. הדרך בה אנחנו צורכים תוכן תיהיה חייבת להשתנות כדי להתאים את עצמנו יותר לאתגרים העכשוויים.

נענו בין אופטימיות לגבי העתיד ופסימיות מכורח המציאות הנוכחית והמסלול עליו נראה שאנחנו נמצאים עם  הבעיותות של טיקטוק ועוד.

קישורים מהפרק:

1. מייק בטוויטר: https://twitter.com/MikeE_3_14

2. הספר Deep Learning בעברית: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew

3. קהילת AI ישראל: https://machinelearning.co.il/

4. מאמר בעברית על הארכיטקטוריות שהיו לפני הטרנספורמים, ודיברנו עליהם בפרק: https://machinelearning.co.il/14698/transformers-section-1/

5. ערך ויקיפדיה על ארכיטקטורת הטרנספורמרים:https://he.wikipedia.org/wiki/%D7%98%D7%A8%D7%A0%D7%A1%D7%A4%D7%95%D7%A8%D7%9E%D7%A8_(%D7%9C%D7%9E%D7%99%D7%93%D7%AA_%D7%9E%D7%9B%D7%95%D7%A0%D7%94)

6. טרנסםורמרים ומגנון הקשה העצמי ("self-attention") על פי הספר למידה של מייק: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew/blob/main/08%20-%20Attention.pdf