ExplAInable

למה אנחנו לא רואים אלגוריתמים גנטיים בChatGPT?היום באקספליינבל, הילה ותמיר בחנו אלגוריתמים גנטיים כתשובה לפונקציית מטרה שאינה גזירה, מעולמות הסייבר ועד reinforcement learning. האם אלגוריתם פשוט שיכול לייצב מטוטלת ולפתור בעיית knapsack יוכל לעזור לנו באופטימיזציה של רשתות גדולות? בפרק נדבר על חשיבות יצירת Generation Zero בעולם בעיה מורכב, לעומת מקרים בהם כל ניחוש התחלתי הוא טוב, איך בעיה קומבינטורית יכולה להפוך למערך של מערכים, והאם יש סיכוי שנראה יותר אלגוריתמים גנטיים באופטימיזציה של מודלי שפה גדולים.00:00 בעיית תיק הגב: איך לבנת זהב קשורה לפונקציה שאינה גזירה?02:50 איך אלגוריתם גנטי עובד07:22 אלגוריתמים גנטיים בעולם ה Reinforcement Learning11:13 למה אי אפשר להשתמש באלגוריתמים גנטיים ברשתות גדולות יותר13:57 איך ללמוד עוד על הנושאבעיית Knapsack https://he.wikipedia.org/wiki/%D7%91%D7%A2%D7%99%D7%99%D7%AA_%D7%AA%D7%A8%D7%9E%D7%99%D7%9C_%D7%94%D7%92%D7%91 בעיית cartpole בעזרת אלגוריתמים גנטיים: https://gsurma.medium.com/cartpole-introduction-to-reinforcement-learning-ed0eb5b58288 הפטנט המשלב אלגוריתמים גנטיים של חברת זיסקיילר: https://patents.google.com/patent/US20250307332A1/en

בפרק זה החליפו מייק ותמיר את התובנות החידודים והשאלות הפתוחות שלהם בניסיון להבין איך מתחברים עולם ה RL ועולם ה LLM (קרי RLHF). ב 2024 השתנתה הפרדיגמה - בתחילה יצירת מודל reward כדי לעשות אימון נוסף ל LLM אחרי ה pretraining שלו באמצעות PPO. ולאחר מכן הוחלף ה PPO בRLHF.בעוד רוב מודלי ה reasoning של החברות הגדולות (chatgpt, claude, gemini) עדיין באפילה - נדבר על איך לדעתנו RLHF יכול לשמש בתהליך.

AI מעולם לא היה זמין יותר, ולמרות זאת חברות רבות מתקשות במחקר ופיתוח מוצרים/פיצ'רים מבוססי GenAI. מה הן מפספסות? מדוע זה שונה כל כך מפיתוח תוכנה "קלאסי"? בפרק זה אירחנו את עוז ליבנה, יועץ וארכיטקט GenAI, לשתף מנסיונו ולהסביר על שינוי הפרדיגמה העמוק הדרוש להצלחה במחקר ופיתוח GenAI, ועל ההבדלים המהותיים מפיתוח תוכנה קלאסי - ברמת החשיבה, התכנון, התמודדות עם אתגרים, צורת ההתקדמות, POCs, ומטריקות

בפרק זה היה את הכבוד לארח את ג׳וני, מהכותבים המקוריים של מאמר הscaling laws ב2019 שסלל את הדרך למודלי השפה העצומים של ימינו.חשבתם פעם איך לסם אלטמן היה את האומץ לשפוך מליונים על אימון GPT3 בתקווה שיהיה מודל טוב יותר מאשר מודל באלפי דולרים?תגלית חוקי הסקיילינג (שלהם ג׳וני היה שותף) היתה המנוע העיקרי להבנה איך עובדת הכלכלה של אימון מודלי שפה.נגענו במוטיבציה לכללים, ומדוע אנחנו יכולים לנבא ביצועים של מודל אף על פי שאיננו יודעים איך הוא עובד בדיוק.דיברנו על ההבדל בין ההשפעה של החוקים על שלב האימון לעומת שלב הinference כפי שאנחנו רואים במודלי chain of thought.והאם סקיילינג תלוי בארכיטרטורה של הטרנספורמרים אותה אנחנו מיישמים כיום? או שמדובר בתופעה כללית.סיימנו בדיון על העתיד של התחום, וכיצד אפשר למדוד אוטונומיה של מודלי שפה בצורה דומה בעתיד כדי להבטיח שתהיה שליטה במודלים הבאים.

זה נראה שרוב הפוקוס הנוכחי הוא על הכנסת דאטא עדכני לדאטאסט של אימון של מודל, ושמירת המודל עדכני.אבל הצד השני של המטבע הזו, הוא לגרום למודל לשכוח נתונים שאינם עדכניים.בין אם מדובר בחוקי מס שהשתנו או בביאסים של הדאטא (כמו דעות קדומות) שהיינו רוצים לשנות, שיכחה היא דבר חשוב.פרופסור עודד שמואלי מהטכניון ידבר איתנו על המורכבות של ״עריכת״ מידע של מודלים, החל ממודלי קלאסיפיקציה פשוטים ועד מודלים מורכבים שפועלים על מספר מודאליות

אחרי שנתיים ביקרנו שוב בכנס Haystack העוסק בחיפוש והמלצה.נדבר על ההבדלים בין 2025 לשנת 2023 ועל מגמת החזרה לעולם החיפוש הלקסיקוגרפי על חשבון החיפוש הוקטורי.ועל גישותLLM as a judgeהרווחת לאיבליואציה של חיפוש והמלצה

בפרק זה אירחנו את אלן ארזי, מהכותבים של TabStar (יחד עם עילם שפירא ופרופ. רועי רייכארט) - מודל דיפ לרנינג המיועד למידע טבלאי.בניגוד לתמונה, קול וטקסט - במידע טבלאי מודלי דיפ לרנינג הם לא הגישה הרווחת.האתגר הגדול בעולמות הטבלה היא חוסר האחידות, טבלאות יכולות לתאר מגוון רחב של נתונים בלי מכנה משותף ביניהם - ולכן קשה למצוא ״מודל בסיס״ כמו בעולמות התמונה.בטאב סטאר, הכותבים לקחו גישה שמערכת מודלי שפה (ובפרט טרנספורמרים) והשתמשו בשמות העמודות ובתיאור הטקסטואלי של הקטגוריות בשביל לתת למודל קונטקסט.השיטה מראה ביצועים עדיפים על XGBoost כאשר יש מגוון של עמודות טקסטואליות במשימות קלאסיפיקציה.אלן סיפר לנו על האתגרים באיסוף מידע לאימון ועל הצפוי לנו בעתיד בעולמות המידע הטבלאי. 

רביד זיו, לשעבר מהמעבדה של יאן לקון, היום פרופסור בNYU וחוקר פורה בדיפ לרנינג ידבר איתנו על דחיסה ולמידה.בעוד דחיסה מזכיר לחלקנו זיפ, או jpeg - רביד ירחיב על איך רשתות דוחסות מידע בצורה יעילה.נדבר על שיטות כגון next token prediction שמסתבר שמאלצות מודלים ללמוד דחיסה יעילה יותר מאשר masking כמו בBERT.נדבר על חשיבות האוגמנטציה בתהליך האימון - או יותר נכון, חוסר החשיבות כפי שנראה.ונעמיק על הקשר שבין דחיסת מודלים, דחיסת אינפורמציה והמשימות אליהן רוצים לעשות אופטימיזציה

מתי מריאנסקי, מוביל קהילת עליית המכונות הפופולארית, אמן ומשתמש נלהב בAI ידבר איתנו על נסיונו.נדבר על המגבלות והדפוסים שנראה שAI נופל אליהם, האם מודל בינה יוכל לייצר את סגנון הקוביזם החדש?ונדבר על ההשלכות של פילטרי הבטיחות על איכות המודלים.לסיום, נדון האם יש טעם ללמוד היום עיצוב גרפי, והאם התחום בדרך לאוטומציה מלאה.

יוצא לנו הרבה לדבר על אייג׳נטים, על מודלי שפה, ועל איך הם עובדים.בפרק זה אנחנו נדבר עם מיכאל קיסילנקו - היזם מאחורי GenDesk, שמגיע שיטתית למליוני חשיפות בלינקדין בעזרת שימוש בAI.מיכאל פיתח מומחיות רבה, ולמד את האלגוריתם של לינקדין מכל הצדדים.פרק מלא תובנות שאסור לפספס

יאן לקון, מאבות הAI המודרני מאמין שהעתיד נמצא בתיכנון טווח ארוך (planning) ולא בחיזוי המילה הבאה.פרופסור גיא שני מהפקולטה להנדסת מערכות מידע באוניברסיטת בן גוריון ומוביל קבוצת מחקר בeBay יספר לנו על האתגרים.נדבר על סוגים של אי וודאות במודלים, ושיטות תכנון לאופק מוגדר לעומת אופק לא ידוע.נצלול לעומק הגישות המרקוביות הקלאסיות, כמו POMDP ונשווה מול גישות Reinforcement learning.למי שמעוניין לצלול לפרטים, פרופסור גיא שני והמעבדה שלו הקליטו קורס אונליין חינמי בקישור הבא: https://campus.gov.il/course/bgu-acd-bgu-ai101/

אם למדתם את התואר השני שלכם לפני 2018, כנראה שהוא לא היה בדאטה סיינס. אבל מאז, האקדמיות התחילו להציע לצד לימודי דיסיפלינות כמו מתמטיקה ומדמ״ח, גם תארים שניים מונחי מקצועות, ובניהם גם דאטה סיינס. והקולגות שלכם והאנשים שתנהלו שלמדו אחריכם? ייתכן מאוד שהם השתתפו בתארים כאלו.השבוע באקספליינבל, אורי והילה פתחו בלי פילטרים את 24 הקורסים שהילה בחרה במסגרת לימודיה בהרווארד. בדקנו איך כלכלה קפיטליסטית משפיעה על האיכות (והכמות) של קורסי בחירה, מהי החשיבות האקדמית בפקולטה לשילוב פרויקטים עם גופים ממשלתיים כמו נאס״א, מי הפרופסור שהוריד נקודות על קומיטים עמוסים מדי ב-GitHub, ולמה המרצים שלה חשבו שבניית קורס בUdemy מייצר דאטה סיינטיסטים יותר טובים. הפרק המלא עכשיו בכל הערוצים, ואנחנו לא יכולים להבטיח שלא יהיו בחני פתע בהמשך. אם עוד לא ראיתם את פרק 142, השקרים שUMAP מספר לנו - הנה הוא: https://open.spotify.com/episode/7JhkmVAchJCuJmBflJI6Vq?si=iabQasycRsa4DCVzIwYihw פרק 136 על הורדת מימדים בלווינים של נאס״א עם מייק והילה:https://open.spotify.com/episode/5airSjSy665VXZ2tImf1vE?si=3-jAQ7JSTSCNoCFXPgbs0A הסילבוסים של כל הקורסים מהתואר בData Science: CSCI 29, Advanced Python for Data Science:  https://www.scribd.com/document/798907961/syllabus-15 CSCI 106, Data Modeling: https://harvard.simplesyllabus.com/en-US/doc/klanr3gi3 CSCI 109A, Introduction to Data Science: https://harvard-iacs.github.io/2020-CS109A/ CSCI E-82, Advanced Machine Learning, Data Mining, and Artificial Intelligencehttps://harvard.simplesyllabus.com/en-US/doc/87qroqsdw CSCI E-88, Principles Of Big Data Processing: https://www.coursehero.com/file/30149735/BDP-Syllabus-Spring-2018pdf/ ISMT E-161, Computational Bayesian Inference: https://harvard.simplesyllabus.com/en-US/doc/mknirmekw CSCI 89, Introduction to Deep Learning: https://harvard.simplesyllabus.com/en-US/doc/orl05sdoq CSCI E-89b, Introduction to Natural Language Processing: https://harvard.simplesyllabus.com/en-US/doc/dy3xgo9om ISMT E-136, Time Series Analysis with Python: https://harvard.simplesyllabus.com/en-US/doc/tn6vfy88u MATH 156, Mathematical Statistics: https://harvard.simplesyllabus.com/en-US/doc/8zojz55h6 CSCI 597, Data Science Precapstone + CSCI E-599a Data Science Capstone: https://harvard.simplesyllabus.com/en-US/doc/xkxh8b79b ספר של הילה עם פרופסור הנסטוק: https://www.amazon.com/Supercharged-Coding-GenAI-practices-Copilot/dp/1836645295קורס של הילה ביודמי עם פרופסור גורלין: https://www.udemy.com/course/apds-intro-to-advanced-python-for-mlops-and-data-science/?srsltid=AfmBOorNj_xL3x8JCmTXR3KDIgp01faF9uZryC8wFbpLw_fpcou1jyse הספר Mathematical Statistics https://www.amazon.com/Mathematical-Statistics-Data-Analysis-Rice/dp/8131519546/ref=tmm_pap_swatch_0 00:00 תואר שני שני בהרווארד01:01 מכלכלה קפיטליסטית של קורסי בחירה לארכיטקטורה של טרנספורמר במבחן אמצע04:13 ארבע וחצי שנים לתואר שני אחד6:48 חשיבות הארטיקולציה והפרזנטציה09:47 פול סטאק דאטה סיינס16:59 עוד קורסים במדמ״ח (או: כמה הילה קיבלה ברשתות תקשורת)20:10 אז מה חסר ומה מיותר23:59 הטיפים לדור העתיד

דאטה סיינטיסטים יספרו לנו בהתלהבות על איך הם פותרים class imbalance, אך מה לגבי imbalance של משתנים דמוגרפיים?השבוע באקספליינבל, אירחנו בשנית את נורית כהן אינגר כדי להבין האם מודל שאינו הוגן יכול להיות מדויק. נזכרנו בסקנדל של מודל COMPAS לחיזוי פשיעה חוזרת של עצורים בארה״ב, שחזה false positives פי 2 בקרב אוכלוסיה אפרו-אמריקנית. עמדנו על ההבדלים בין הוגנות קבוצתית לבין הוגנות אינדיבידואלית, ואיך לעצב מודל הוגן יותר בשלב הדאטה, האימון, והריצה. אז מודדים היום הוגנות של מודלי שפה? האם פייריות היא פיצ׳ר או מטריקה? ואיך מייק והילה הצליחו להשמיץ שוב את שיטת SMOTE? כל זאת ועוד - בפרק!

כדאטה סיינטיסטים, אנחנו מאוד רגישים ל Jailbreaking וחולשות במודלי שפה, עד כדי כך שאנחנו עלולים לשכוח שהמוצרים שאנחנו בונים פגיעים גם לחולשות אבטחה סטנדרטיות. השבוע בexplAInable הזמנו את רועי פז, Principal AI Security Researcher שמקבל צ׳קים כדי למצוא פגיעויות באפליקציות LLM. הבחנו בין חולשות במודל לחולשות אפליקטיביות, הגדרנו מונחי בסיס כמו Sandbox, Lateral Movement, וניסינו להבין מה המוטיבציה של חברות כמו OpenAI לתגמל האקרים ולשלם להם כסף על פגיעויות שהם מוצאים במודל. שמענו גם על אייג׳נטים שעוזרים להאקרים לכתוב מתקפות מתוחכמות יותר, ועם אלו חולשות אין לנו סיכוי לקבל צ׳ק בתוכניות Bug Bounties של מודלי שפה גדולים. כל זאת ועוד - בפרק!לינקדאין של רועי פז: https://www.linkedin.com/in/roy-paz/ תוכנית הבאג באונטי של OpenAI שכבר שילמה ל330 האקרים: https://bugcrowd.com/engagements/openai 

בשבוע האחרון של שנת 2025 אנחנו ממשיכים את מסורת סיכום השנה שלנו. אורי והילה תהו אם חזרנו להיות סטטיסטיקאים, למה code generation נהיה מעולה אבל פילטר הספאם של גוגל עובד פחות טוב, ומה הקשר בין הבייסליין החדש בכתיבת אימיילים לעריכת וידאו. הכרזנו על השנה כשנת ה-consolidation, תהינו מה התרומה שלנו כ- Data Scientists להנדסת AI, והאם בשנת 2026 נתחיל לפגוש ביוזרים סינתטיים. כל זאת ועוד - בפרק!

כולם מדברים היום על קידוד עם AI, בין אם זה עם כלי עזר כמו co-pilot או cursor, השלמה אוטמטית. או כתיבה של תוכניות שלמות עם vibe coding עם כלים כמו lovable או base44.בפרק זה נארח את גילי נחום, לענות על שאלות על עתיד עולם התוכנה והכלים האחרונים.נדבר על שימוש נכון בMCP, על חלוקה של הכלים לדורות וההיררכיה שלהם.ונתן עצות מה המקומות הנכונים לשלב כלים כמו claude code לעומת כלים אחריםץ

היום בעידן מודלי השפה הגדולים כשתרגום סימולטני מתאפשר בלייב, זה נראה כאילו מאז ומתמיד ChatGPT ידע לדבר עברית.עד לא מזמן היתה צניחה משמעותית בביצועים של מודלי שפה על שפות שאינן אנגלית.בפרק זה גיא רוטמן, חוקר אקדמי בתחום ובתעשייה ב gong.io ידבר איתנו על אתגרי העבר והווה באימון מודלי שפה רב שפתיים.נדבר על טיפים עכשוויים להתמודדות עם שפות כגון עברית, ועל אתגרי הדאטא.

היום כשמודלי שפה נהיו כ״כ חזקים, אנחנו לוקחים כמובן מאליו את יכולות הבנת התמונה.בפרק זה פרופ. עידן שוורץ מאוניברסיטת בר אילן יספר לנו על ההיסטוריה של התפתחות התחום, על ביאסים בתשובות ואיך מתמודדים איתם ומה הם האתגרים העכשוויים בתחום.ריבוי מודאליות גורם גם לבעיות מסדר שני, כגון ישור הקלטים, מציאת מרחב משותף מייצג, וכמובן מה עושים כאשר יש קונפליקט בין המימד החזותי לטקסטואלי למשל.ב28 למאי ייערץ יום עיון בבר אילן, שם עידן ומיטב המוחות בתחום יציגו את העבודות שלהם.קישורים לעיון:https://biu365-my.sharepoint.com/:f:/g/personal/schwari9_biu_ac_il/Eus14HAcXQBBuS_GhknGbh4Bevs1VixlLgPO0yCgLReY2w?e=GZJDnO

כנס הGTC של אנבידיה הוא אחד האירועים המרכזיים של עולם הAI.הכנס נערך חמישה ימים והסתיים ב22 למרץ 2025, בפרק זה ננסה לתמצת לכם את עיקרי הדברים בעשרים דקות.וכהרגלנו, נבחון בעין ביקורתית את ההצהרות וההכרזות שהיו בכנס.מה נאמר על רובוטים, דיפסיק, עתיד המניה ומה לא נאמר ובלט בהיעדרו.

מעטים המאמרים המתארים בפירוט רב כל כך את האתגרים של יצירת וידאו מטקסט.במאמר הMovieGen של מטא, נכתבו 92 עמודים של המודלים השונים שנדרשים כדי לייצר סרטונים קצרים.בפרק זה לירון יספר לנו על האתגרים הטכניים כמו מגבלת הזכרון, וסוגי הטעויות שניתן להבחין בסרטונים מג׳ונרטים.אנחנו נסקור בקצרה את הגישות שמטא לקחו במאמר שלהם, ונפרק את השיטה לתתי המודלים שמרכיבים את הpipeline הארוך של יצירת סרטונים עם AI.