ExplAInable

בפרק זה החליפו מייק ותמיר את התובנות החידודים והשאלות הפתוחות שלהם בניסיון להבין איך מתחברים עולם ה RL ועולם ה LLM (קרי RLHF). ב 2024 השתנתה הפרדיגמה - בתחילה יצירת מודל reward כדי לעשות אימון נוסף ל LLM אחרי ה pretraining שלו באמצעות PPO. ולאחר מכן הוחלף ה PPO בRLHF.בעוד רוב מודלי ה reasoning של החברות הגדולות (chatgpt, claude, gemini) עדיין באפילה - נדבר על איך לדעתנו RLHF יכול לשמש בתהליך.

AI מעולם לא היה זמין יותר, ולמרות זאת חברות רבות מתקשות במחקר ופיתוח מוצרים/פיצ'רים מבוססי GenAI. מה הן מפספסות? מדוע זה שונה כל כך מפיתוח תוכנה "קלאסי"? בפרק זה אירחנו את עוז ליבנה, יועץ וארכיטקט GenAI, לשתף מנסיונו ולהסביר על שינוי הפרדיגמה העמוק הדרוש להצלחה במחקר ופיתוח GenAI, ועל ההבדלים המהותיים מפיתוח תוכנה קלאסי - ברמת החשיבה, התכנון, התמודדות עם אתגרים, צורת ההתקדמות, POCs, ומטריקות

בפרק זה היה את הכבוד לארח את ג׳וני, מהכותבים המקוריים של מאמר הscaling laws ב2019 שסלל את הדרך למודלי השפה העצומים של ימינו.חשבתם פעם איך לסם אלטמן היה את האומץ לשפוך מליונים על אימון GPT3 בתקווה שיהיה מודל טוב יותר מאשר מודל באלפי דולרים?תגלית חוקי הסקיילינג (שלהם ג׳וני היה שותף) היתה המנוע העיקרי להבנה איך עובדת הכלכלה של אימון מודלי שפה.נגענו במוטיבציה לכללים, ומדוע אנחנו יכולים לנבא ביצועים של מודל אף על פי שאיננו יודעים איך הוא עובד בדיוק.דיברנו על ההבדל בין ההשפעה של החוקים על שלב האימון לעומת שלב הinference כפי שאנחנו רואים במודלי chain of thought.והאם סקיילינג תלוי בארכיטרטורה של הטרנספורמרים אותה אנחנו מיישמים כיום? או שמדובר בתופעה כללית.סיימנו בדיון על העתיד של התחום, וכיצד אפשר למדוד אוטונומיה של מודלי שפה בצורה דומה בעתיד כדי להבטיח שתהיה שליטה במודלים הבאים.

זה נראה שרוב הפוקוס הנוכחי הוא על הכנסת דאטא עדכני לדאטאסט של אימון של מודל, ושמירת המודל עדכני.אבל הצד השני של המטבע הזו, הוא לגרום למודל לשכוח נתונים שאינם עדכניים.בין אם מדובר בחוקי מס שהשתנו או בביאסים של הדאטא (כמו דעות קדומות) שהיינו רוצים לשנות, שיכחה היא דבר חשוב.פרופסור עודד שמואלי מהטכניון ידבר איתנו על המורכבות של ״עריכת״ מידע של מודלים, החל ממודלי קלאסיפיקציה פשוטים ועד מודלים מורכבים שפועלים על מספר מודאליות

אחרי שנתיים ביקרנו שוב בכנס Haystack העוסק בחיפוש והמלצה.נדבר על ההבדלים בין 2025 לשנת 2023 ועל מגמת החזרה לעולם החיפוש הלקסיקוגרפי על חשבון החיפוש הוקטורי.ועל גישותLLM as a judgeהרווחת לאיבליואציה של חיפוש והמלצה

בפרק זה אירחנו את אלן ארזי, מהכותבים של TabStar (יחד עם עילם שפירא ופרופ. רועי רייכארט) - מודל דיפ לרנינג המיועד למידע טבלאי.בניגוד לתמונה, קול וטקסט - במידע טבלאי מודלי דיפ לרנינג הם לא הגישה הרווחת.האתגר הגדול בעולמות הטבלה היא חוסר האחידות, טבלאות יכולות לתאר מגוון רחב של נתונים בלי מכנה משותף ביניהם - ולכן קשה למצוא ״מודל בסיס״ כמו בעולמות התמונה.בטאב סטאר, הכותבים לקחו גישה שמערכת מודלי שפה (ובפרט טרנספורמרים) והשתמשו בשמות העמודות ובתיאור הטקסטואלי של הקטגוריות בשביל לתת למודל קונטקסט.השיטה מראה ביצועים עדיפים על XGBoost כאשר יש מגוון של עמודות טקסטואליות במשימות קלאסיפיקציה.אלן סיפר לנו על האתגרים באיסוף מידע לאימון ועל הצפוי לנו בעתיד בעולמות המידע הטבלאי. 

רביד זיו, לשעבר מהמעבדה של יאן לקון, היום פרופסור בNYU וחוקר פורה בדיפ לרנינג ידבר איתנו על דחיסה ולמידה.בעוד דחיסה מזכיר לחלקנו זיפ, או jpeg - רביד ירחיב על איך רשתות דוחסות מידע בצורה יעילה.נדבר על שיטות כגון next token prediction שמסתבר שמאלצות מודלים ללמוד דחיסה יעילה יותר מאשר masking כמו בBERT.נדבר על חשיבות האוגמנטציה בתהליך האימון - או יותר נכון, חוסר החשיבות כפי שנראה.ונעמיק על הקשר שבין דחיסת מודלים, דחיסת אינפורמציה והמשימות אליהן רוצים לעשות אופטימיזציה

מתי מריאנסקי, מוביל קהילת עליית המכונות הפופולארית, אמן ומשתמש נלהב בAI ידבר איתנו על נסיונו.נדבר על המגבלות והדפוסים שנראה שAI נופל אליהם, האם מודל בינה יוכל לייצר את סגנון הקוביזם החדש?ונדבר על ההשלכות של פילטרי הבטיחות על איכות המודלים.לסיום, נדון האם יש טעם ללמוד היום עיצוב גרפי, והאם התחום בדרך לאוטומציה מלאה.

יוצא לנו הרבה לדבר על אייג׳נטים, על מודלי שפה, ועל איך הם עובדים.בפרק זה אנחנו נדבר עם מיכאל קיסילנקו - היזם מאחורי GenDesk, שמגיע שיטתית למליוני חשיפות בלינקדין בעזרת שימוש בAI.מיכאל פיתח מומחיות רבה, ולמד את האלגוריתם של לינקדין מכל הצדדים.פרק מלא תובנות שאסור לפספס

יאן לקון, מאבות הAI המודרני מאמין שהעתיד נמצא בתיכנון טווח ארוך (planning) ולא בחיזוי המילה הבאה.פרופסור גיא שני מהפקולטה להנדסת מערכות מידע באוניברסיטת בן גוריון ומוביל קבוצת מחקר בeBay יספר לנו על האתגרים.נדבר על סוגים של אי וודאות במודלים, ושיטות תכנון לאופק מוגדר לעומת אופק לא ידוע.נצלול לעומק הגישות המרקוביות הקלאסיות, כמו POMDP ונשווה מול גישות Reinforcement learning.למי שמעוניין לצלול לפרטים, פרופסור גיא שני והמעבדה שלו הקליטו קורס אונליין חינמי בקישור הבא: https://campus.gov.il/course/bgu-acd-bgu-ai101/

כולם מדברים היום על קידוד עם AI, בין אם זה עם כלי עזר כמו co-pilot או cursor, השלמה אוטמטית. או כתיבה של תוכניות שלמות עם vibe coding עם כלים כמו lovable או base44.בפרק זה נארח את גילי נחום, לענות על שאלות על עתיד עולם התוכנה והכלים האחרונים.נדבר על שימוש נכון בMCP, על חלוקה של הכלים לדורות וההיררכיה שלהם.ונתן עצות מה המקומות הנכונים לשלב כלים כמו claude code לעומת כלים אחריםץ

היום בעידן מודלי השפה הגדולים כשתרגום סימולטני מתאפשר בלייב, זה נראה כאילו מאז ומתמיד ChatGPT ידע לדבר עברית.עד לא מזמן היתה צניחה משמעותית בביצועים של מודלי שפה על שפות שאינן אנגלית.בפרק זה גיא רוטמן, חוקר אקדמי בתחום ובתעשייה ב gong.io ידבר איתנו על אתגרי העבר והווה באימון מודלי שפה רב שפתיים.נדבר על טיפים עכשוויים להתמודדות עם שפות כגון עברית, ועל אתגרי הדאטא.

היום כשמודלי שפה נהיו כ״כ חזקים, אנחנו לוקחים כמובן מאליו את יכולות הבנת התמונה.בפרק זה פרופ. עידן שוורץ מאוניברסיטת בר אילן יספר לנו על ההיסטוריה של התפתחות התחום, על ביאסים בתשובות ואיך מתמודדים איתם ומה הם האתגרים העכשוויים בתחום.ריבוי מודאליות גורם גם לבעיות מסדר שני, כגון ישור הקלטים, מציאת מרחב משותף מייצג, וכמובן מה עושים כאשר יש קונפליקט בין המימד החזותי לטקסטואלי למשל.ב28 למאי ייערץ יום עיון בבר אילן, שם עידן ומיטב המוחות בתחום יציגו את העבודות שלהם.קישורים לעיון:https://biu365-my.sharepoint.com/:f:/g/personal/schwari9_biu_ac_il/Eus14HAcXQBBuS_GhknGbh4Bevs1VixlLgPO0yCgLReY2w?e=GZJDnO

כנס הGTC של אנבידיה הוא אחד האירועים המרכזיים של עולם הAI.הכנס נערך חמישה ימים והסתיים ב22 למרץ 2025, בפרק זה ננסה לתמצת לכם את עיקרי הדברים בעשרים דקות.וכהרגלנו, נבחון בעין ביקורתית את ההצהרות וההכרזות שהיו בכנס.מה נאמר על רובוטים, דיפסיק, עתיד המניה ומה לא נאמר ובלט בהיעדרו.

מעטים המאמרים המתארים בפירוט רב כל כך את האתגרים של יצירת וידאו מטקסט.במאמר הMovieGen של מטא, נכתבו 92 עמודים של המודלים השונים שנדרשים כדי לייצר סרטונים קצרים.בפרק זה לירון יספר לנו על האתגרים הטכניים כמו מגבלת הזכרון, וסוגי הטעויות שניתן להבחין בסרטונים מג׳ונרטים.אנחנו נסקור בקצרה את הגישות שמטא לקחו במאמר שלהם, ונפרק את השיטה לתתי המודלים שמרכיבים את הpipeline הארוך של יצירת סרטונים עם AI.

השבוע בexplAInable, אירחנו את שי אלון, אוונגליסט סטארט-אפים בגוגל קלאוד ושמענו על הכלים השונים למדיה גנרטיבית (בעיקר תמונות ווידאו) מבית היוצר של גוגל. ניסינו להבין מה הקשר בין אורך ה-Context Window לסרט הוליוודי באורך מלא, איך ההתחלה מייצור ה-ending frame מעלה את איכות הסרטונים, מה גרם ל Notebook LM להפוך ממוצר נסיוני להצלחה מסחררת, וגם איך נוכל להשתמש בכלים האלו בעצמנו.הקורס של שי: https://cloudonair.withgoogle.com/events/startup-school-ai-q4-2025?utm_source=podcast&utm_medium=shaialonהלינקדאין של שי: https://www.linkedin.com/in/shaialon/00:00 היי שי!01:13 מה בתפקיד evangelist בגוגל קלאוד02:30 מדיה גנרטיבית בגוגל05:22 האתגרים וההזדמנויות בג׳נרוט של וידאו15:25 על Notebook LM- מסטארט-אפ פנימי לפודקאסט ששמועים ברכב23:21 על deep research של גוגל27:00 הקורס של שי על מדיה גנרטיבית

השבוע ב-explAInable, ניסינו להבין האם ל-LLM יש בינה אמיתית, יחד עם ד״ר אלישע רוזנצוויג, חוקר בדיקטה ומנחה הפודקאסט ״אלישע והזוויות״. ניסינו להבין אם מבחן טיורינג הוא פרוקסי רע למדידת בינה מלאכותית, איך רלטיביות של ייצוגי embeddings קשורים למעגליות בהגדרות מילוניות, ואיך חוק גודהארט על תבניות סטטיסטיות חזה את זה ש- LLMs ידעו לשקר לנו בצורה מהימנה יותר. האם ה-LLMs שאנחנו מכירים היום יצליחו לקדם אותנו לעבר AGI? האם מולטי-מודאליות יעזרו לנו להגיע לבינה אמיתית? ואיך רבנים יכולים להשתמש כבר היום במערכות RAG על פסיקות קודמות? כל זאת ועוד- בפרק!

למה תמיד כשאנחנו משתמשים בUMAP, קלאסטרים עם אותה כמות נקודות נראים באותו הגודל?השבוע ב-explAInable, מייק והילה צללו לשיטת הויזואליזציה UMAP, שנחשבת לחדשנית ביותר בתחום ומשמשת רבים מאיתנו בהדמיה של נתונים ממימד הגבוה למרחב הטלה של דו-מימד (או תלת-מימד). ניתחנו את משמעות השם של השיטה, ובדקנו איך הנחת התפלגות האחידה שלנו המהווה את הבסיס להטלה במימד הנמוך יכולה לשבש לנו את התוצאות. האם אנחנו באמת יכולים לסמוך על צפיפות הנקודות במרחב ההטלה, האם יכול להיות שאנומליות ימסו לנו לקלאסטרים המרכזיים? כל זאת ועוד - בפרק!לינק לקוד הפתוח של UMAP, שכולל הטמעה של densMAP: https://github.com/lmcinnes/umapלינק למאמר של UMAP בארכיב (עדכון אחרון של המאמר ב-2020):https://arxiv.org/abs/1802.03426בואו להתארח אצלנו כמומחים בפרקים הבאים:https://forms.gle/JQM2zTmeY6cp58AA9פרקים00:00 מתי קווים מקבילים יפגשו?00:51 היי UMAP, שמור לי על שכנים קרובים ונקודות רחוקות בבקשה!02:26 החשיבות העסקית של ויז׳ואליזציות בעלות משמעות03:19 עושים decoding לשם השיטה. 04:55 איך UMAP עובד מתמטית07:54 אוי לא, הנחת ההתפלגות האחידה מסבכת אותנו!08:46 האם הויזואליזציות שאנחנו מייצרים משקרות לנו?11:00 שיפורים של UMAP להתמודדות עם צפיפות משתנה

השבוע ב-explAInable אירחנו את ד״ר אלי שוורץ, מנהל קבוצת בינה מלאכותית מולטי מודאלית ב-IBM. ניסינו להבין את חשיבות המולטי-מודליות, למשל בעבודה עם מסמכים הכוללים טבלאות ותמונות, והבנו מה מקומם של מודלים קטנים יותר. אז מהם שלושת הרכיבים בארכיטקטורה שמאפשרים הטלה של תמונות במרחב הטקסט? למה מייק מאמין במודלים קטנים? והאם העתיד נמצא דווקא במודלי דיפיוזיה? כל זאת ועוד- בפרק! לפרק ביוטיוב:  https://youtu.be/AXj6VLAzYEM ללינקדאין של אלי: https://www.linkedin.com/in/elischwartz/ למאמר: https://arxiv.org/abs/2502.09927 למודל הפתוח: https://huggingface.co/ibm-granite/granite-vision-3.3-2b בואו להתארח אצלנו כמומחים בפרקים הבאים: https://forms.gle/tUArnguwPU5KFNKx5   

השבוע ב-explAInable אירחנו את נורית כהן אינגר,  דירקטורית Data Science בלושה, ודוקטורנטית בפקולטה למדעי המחשב ומידע בבן-גוריון. ניסינו להבין את המחויבות של מובילים בתעשייה להישאר מעודכנים בחזית המחקר, ובעיקר - איך מצליחים לעשות ״גם וגם״. אז איך תחרות בקאגל יכולה להוביל לשינוי קריירה? איך מייק מצליח לקרוא מאמר כל יום? והאם הטמעה של מערכות ריבוי-סוכנים (multi-agents) זה הכל עניין של קונטקסט אנג׳ינירינג? כל זאת ועוד- בפרק! ללינקדאין של נוריתבואו להתארח אצלנו כמומחים בפרקים הבאים