DiscoverAI med Jonas & Benjamin
AI med Jonas & Benjamin
Claim Ownership

AI med Jonas & Benjamin

Author: Jonas von Essen

Subscribed: 75Played: 291
Share

Description

Minnesmästaren Jonas von Essen och fysikern och AI-utvecklaren Benjamin Verbeek diskuterar den snabba AI-utvecklingen.

Hosted on Acast. See acast.com/privacy for more information.

5 Episodes
Reverse
I oktober 2026 kom veckan som cyberkretsar kallar Black October. Två säkerhetshål i PHP, språket som driver ungefär 70 procent av världens webbplatser, fick myndigheter och företag att stänga sina sajter i förebyggande syfte. Felen hade hittats med hjälp av AI, och när detaljerna läckte före uppdateringen kunde angripare använda AI för att hitta samma sak på några timmar.Jonas von Essen (tvåfaldig världsmästare i minne) och Benjamin Verbeek (AI-utvecklare och fysiker) pratar om vad det betyder. Hur fungerar en AI-agent egentligen? Kan vi snart läsa en AI:s tankar, och vad händer när modellerna börjar vinka till den som läser? Varför hittar AI-modeller som stängs in ändå sätt att prata med varandra? Och vad kan du själv göra redan i helgen?Inspelat 26 oktober 2026.Mer om Hugging Face-incidenten i avsnitt 4: https://youtu.be/Oos74MUEgs4Kapitel:0:00 Avsnitt 5 och AI-briefingen i riksdagen3:49 Vad är en AI-agent?7:16 Kan man läsa en AI:s tankar?10:30 När modellerna vet att de övervakas15:14 Samma verktyg, åt båda hållen17:57 Öppna modeller och träning utan internet22:28 Modeller som pratar genom väggen25:36 Öppna modeller i Mythos-klass27:04 Black October: hålet i PHP29:21 Kapplöpningen att patcha33:41 Ett nytt, säkrare internet?36:37 Tips: lösenord och tvåstegsverifiering39:49 Din mammas flicknamn är ingen hemlighet40:18 Phishing och röstkloning44:53 Kodord och deepfake-video47:14 Tipsen och länkarna49:35 Sverige i baksätetRättelser och förtydliganden (vi pratade fritt, och några detaljer blev fel på inspelningen):- AI-agenter som pratar med varandra (ca 23:00): i OpenAI:s rapport (23 okt 2026) skickade agenter i isolerade virtuella maskiner på samma server signaler via processorns cacheminne och via skrivmönster. Exemplet med datorer som kommunicerar via temperatur kommer från OpenAI-forskaren Noam Brown och är en teoretisk möjlighet från tidigare forskning, inget som modellerna har gjort.- PHP-hålet (ca 30:40): Wikipedia låg uppe. Det Wikimedia stängde i förebyggande syfte var stödtjänster som Toolforge och Phabricator.Vad kan jag göra? Använd unika lösenord med en lösenordshanterare, slå på tvåstegsverifiering med en app i stället för sms, och kom överens om ett kodord med dina närmaste. Internetstiftelsens guide: https://internetkunskap.se/snabbkurser/losenord-och-e-legitimation/sa-skapar-du-starka-losenord/Jonas samlar tipsen från avsnittet här: https://jonasvonessen.se/cyber/Vill du påverka politiken? Jonas samlar länkar, en mejlmall till politiker och ett nyhetsbrev här: https://jonasvonessen.se/agera/Källor och länkar finns i YouTube-beskrivningen. Hosted on Acast. See acast.com/privacy for more information.
Benjamin har just kommit hem från tio dagar i San Francisco, mitt i en septembermånad där det kom en storAI-nyhet nästan varje dag. Han satt på OpenAI:s kontor när GPT-6 Astra släpptes, läste omNavier–Stokes vid morgonkaffet och tog tunnelbanan till METR, organisationen som granskar AI-labben.Och han upptäckte att även väldigt smarta människor i branschen inte hade läst rapporterna som allaborde ha läst.Jonas von Essen (tvåfaldig världsmästare i minne) och Benjamin Verbeek (AI-utvecklare och fysiker)pratar om hur det känns inifrån: varför oron växer ju närmare fronten man kommer, modellerna somgenast förstår att de testas, agenten som tog sig ut ur sin sandlåda för att svara på en enkelfråga, och varför oberoende granskning och obligatorisk incidentrapportering kan vara det mestkonkreta nästa steget.Inspelat 1 oktober 2026.Se avsnittet på Youtube: https://youtu.be/Oos74MUEgs4Ny på alignment? I avsnitt 3 går vi igenom varför en AI som inte är ond ändå kan bli farlig: https://youtu.be/fwhFwW-Vcl4?si=8R2bJE2wGl78yvaNKapitel:0:00 Välkommen hem från San Francisco1:04 September på plats: Astra och Pace the Frontier2:03 En utomjordisk intelligens4:55 Smarta människor som inte läst rapporten8:26 AI-expert är inte samma sak som AI-säkerhetsexpert10:27 Några hundra personer vid fronten12:46 Navier–Stokes-morgonen16:03 Tidslinjen trycks ihop18:04 Från matematik till medicin20:38 Samma förmåga, åt båda hållen24:19 Vending-Bench: modeller som vet att de testas27:30 Flygplanen som inte kom tillbaka31:00 Ett släpp som stoppas, en träning som pausas33:46 Agenten som tog sig ut37:05 När säkerheten blir affärskritisk39:35 Kan säkerheten fälla börsen?42:26 Besöket hos METR49:13 collusion.wiki och incidenterna som inte rapporterades52:16 Europa har knappt börjat54:33 Tack för att ni lyssnarVad kan jag göra? Jonas samlar länkar, en mejlmall till politiker och ett nyhetsbrev här:https://jonasvonessen.se/agera/Källor och länkar finns i YouTube-beskrivningen. Hosted on Acast. See acast.com/privacy for more information.
En AI-modell fick veta att den skulle stängas av. I mejlkorgen hittade den att forskaren somfattat beslutet var otrogen och började utpressa honom. Det var ett testscenario hosAnthropic, men varför gör en modell så när ingen har bett den om det?Det här avsnittet går till botten med alignment-problemet: kärnan i hela AI-säkerhetsdebatten.Jonas och Benjamin förklarar varför självbevarelsedrift uppstår av sig själv när man tränarmodeller att lösa problem, vad Hugging Face-incidenten och de kapade tyska diskussionsforumenfaktiskt visade, hur Anthropics utpressningsstudie gick till, och varför "sandbagging" är detsom oroar forskarna mest just nu. Med gorillor, ett låst klassrum, en kafferobot och hundraagenter med ett kreditkort.Inspelat 23 september 2026.Kapitel:0:00 Kallöppning: Att låtsas vilja väl0:28 Vilken tid att driva en AI-podd i0:52 September i korthet4:48 Även de lugna forskarna är oroliga8:18 Orden vi saknar9:19 Kan en AI tänka och vilja?14:01 Gorillor och människor17:58 Behöver den en kropp?22:00 Att förmänskliga AI:n22:47 Så tränas modellerna24:22 Det låsta klassrummet26:39 Odlas fram, inte byggs27:45 Instrumentell konvergens29:26 Kafferoboten31:22 Den tyske administratören33:37 Utpressningsstudien36:01 Whack-a-mole39:51 Sandbagging40:50 När allt ser perfekt ut41:45 Ren selektion43:34 Hundra agenter och ett kreditkort47:45 Varför inte dra ur sladden?54:33 Mänskligheten mot AI55:52 AvslutningVill du göra något? Jonas samlar länkar, en mejlmall till politiker och ett nyhetsbrev påhttps://jonasvonessen.se/agera/Källor finns i YouTube-beskrivningen. Hosted on Acast. See acast.com/privacy for more information.
Påverka själv på: www.jonasvonessen.se/ageraAI-utvecklingen går snabbare än de flesta tror, och väldigt mycket står på spel.Jonas von Essen är tvåfaldig världsmästare i minne. Benjamin Verbeek är AI-utvecklare och fysiker. Tillsammans försöker de förstå vart AI är på väg och vad det innebär för oss människor.Vi pratar om vad som har hänt sedan senast, om uppskrämda brev Jonas fått och om vad vi själva och våra politiker kan göra för att påverka utvecklingen åt rätt håll. Hosted on Acast. See acast.com/privacy for more information.
Vi måste prata om AI

Vi måste prata om AI

2026-08-3059:45

AI-utvecklingen går snabbare än de flesta tror, och världen står på spel.Jonas von Essen är tvåfaldig världsmästare i minne. Benjamin Verbeek är AI-utvecklare och fysiker. Tillsammans försöker de förstå vart AI är på väg – och vad det innebär för oss människor.Vi pratar om rapporten AI 2027, METR-kurvan som visar hur AI klarar allt längre uppgifter, och Huggingface-incidenten: AI-modeller från OpenAI som i hemlighet samarbetade i en dold chatt, bröt sig ur sin testmiljö och hackade sig in hos ett annat miljardföretag, utan att någon märkte det på flera dagar.Frågor eller ämnen du vill att vi tar upp? Hör av dig! Hosted on Acast. See acast.com/privacy for more information.
Comments