פרק 5 - מייק ארליכסון: ארכיטקטורת הטרנספורמרים, מודלי שפה, והאתגרים של עולם ללא מידע טהור

אדם וים - הצעד הבא של האנושות

21-12-2023 • 1 hr 17 mins

בפרק אירחנו את מייק ארליכסון, דוקטור למתמטיקה מהטכניון, מומחה בינה מלאכותית ו-Machine Learning, וכיום עובד כ AI Tech Lead בחברת Salt Security.

מייק הוא אחד האנשים היותר פעילים בקהילת הבינה מלאכותית בארץ, Machine Learning Israel, שם, בפייסבוק ובטוויטר - הוא עובד על הנגשת התכנים האקדמיים לקהל רחב יותר על ידי סיכום מאמרים בקצרה ובעברית (הפינה נקראת #shorthebrewpapereviews). בנוסף, מייק גם כתב ספר deep learning בעברית, שזמין בחינם לכולם באינטרנט.


בפרק צללנו ישר אל מה היא ארכיטקטורת הטרנספורמים (Transformers), הארכיטקטורה שהיוותה את השינויי המשמעותי ביותר בעולם הAI בשנים האחרונות. דיברנו על מה עשה את הארכיטקטורה כל כך מיוחדת ושונה מהארכטיקטורות שקדמו לה, תהליך האימון שOpenAI עשו עם RLHF  - שהתוצר הסופי הוא לא פחות מ-ChatGPT שכולנו מכירים.


משם לקחנו את השיחה למקום קצת אחר, ופחות טכנולוגי: האתגרים בעולם בו אין יותר מידע "טהור," כלומר מידע שלא מותנה באידיאולוגיה או מניעים ספציפיים, אלא עובדות כעובודות. דיברנו על איך עולם הבינה מלאכותית מעצים את אותם אתגרים, והאם יש איך להילחם בזה - מהצד הטגנולוגי, וכן מהצד התרבותי. הדרך בה אנחנו צורכים תוכן תיהיה חייבת להשתנות כדי להתאים את עצמנו יותר לאתגרים העכשוויים.

נענו בין אופטימיות לגבי העתיד ופסימיות מכורח המציאות הנוכחית והמסלול עליו נראה שאנחנו נמצאים עם  הבעיותות של טיקטוק ועוד.

קישורים מהפרק:

  1. מייק בטוויטר: https://twitter.com/MikeE_3_14

  2. הספר Deep Learning בעברית: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew

  3. קהילת AI ישראל: https://machinelearning.co.il/

  4. מאמר בעברית על הארכיטקטוריות שהיו לפני הטרנספורמים, ודיברנו עליהם בפרק: https://machinelearning.co.il/14698/transformers-section-1/

  5. ערך ויקיפדיה על ארכיטקטורת הטרנספורמרים:https://he.wikipedia.org/wiki/%D7%98%D7%A8%D7%A0%D7%A1%D7%A4%D7%95%D7%A8%D7%9E%D7%A8_(%D7%9C%D7%9E%D7%99%D7%93%D7%AA_%D7%9E%D7%9B%D7%95%D7%A0%D7%94)

  6. טרנסםורמרים ומגנון הקשה העצמי ("self-attention") על פי הספר למידה של מייק: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew/blob/main/08%20-%20Attention.pdf


You Might Like

Darknet Diaries
Darknet Diaries
Jack Rhysider
Fortnite Emotes
Fortnite Emotes
Lawrence Hopkinson
Double Tap
Double Tap
Accessible Media Inc.
Hard Fork
Hard Fork
The New York Times
The Vergecast
The Vergecast
The Verge
TechStuff
TechStuff
iHeartPodcasts
This Week in Retro
This Week in Retro
Neil from RMCretro - The Cave, Chris from 005 AGIMA and Dave
Waveform: The MKBHD Podcast
Waveform: The MKBHD Podcast
Vox Media Podcast Network
Smashing Security
Smashing Security
Graham Cluley & Carole Theriault
RNIB Tech Talk
RNIB Tech Talk
RNIB Connect Radio
Acquired
Acquired
Ben Gilbert and David Rosenthal