Steht in der KI der nächste Durchbruch bevor, Sepp Hochreiter?
Update: 2024-07-05
Description
Sepp Hochreiter hat in seiner Diplomarbeit zu Beginn der neunziger Jahre eine kleine KI-Revolution erdacht. Sein Lernalgorithmus verbarg sich hinter dem Kürzel LSTM, das steht für Long-Short-Term-Memory. Er verlieh der KI so etwas wie ein brauchbares Gedächtnis - Computer können seither besser mit Sequenzen umgehen. Als er die Idee zusammen mit Jürgen Schmidhuber verbreitete und weiterentwickelte, erkannten zunächst nicht einmal Fachleute, welche Macht sie besaß.
Letztendlich hob LSTM die Sprachverarbeitung auf eine neue Stufe. Von Google bis Microsoft verwendete jeder Tech-Konzern sie, bis zum Jahr 2017 steckte sie sozusagen in jedem Smartphone. Dann veröffentlichten Fachleute von Google einen Aufsatz und stellten darin die Grundlage für jene großen Sprachemodelle vor, die heute so erfolgreich sind und die durch ChatGPT berühmt und ein Massenphänomen wurden.
Doch auch diese KI-Systeme haben Grenzen, scheitern an Aufgaben, die für das Gehirn leicht sind. Nun kommt Hochreiter, der inzwischen im österreichischen Linz lehrt und forscht, seinerseits mit der nächsten womöglich bahnbrechenden Idee um die Ecke: Er stellte unlängst vor, wie er LSTM weiterentwickelt hat - unter dem Kürzel xLSTM, das steht für Extended Long-Short-Term-Memory. Die bisherigen Schwächen will er reduziert und zugleich die Vorteile gegenüber den gegenwärtig angesagten Transformer-Modellen verbessert haben.
Wie funktioniert das? Was steckt dahinter? Wie weit ist sein Unternehmen NXAI? Über all das sprechen wir in dieser Episode.
Letztendlich hob LSTM die Sprachverarbeitung auf eine neue Stufe. Von Google bis Microsoft verwendete jeder Tech-Konzern sie, bis zum Jahr 2017 steckte sie sozusagen in jedem Smartphone. Dann veröffentlichten Fachleute von Google einen Aufsatz und stellten darin die Grundlage für jene großen Sprachemodelle vor, die heute so erfolgreich sind und die durch ChatGPT berühmt und ein Massenphänomen wurden.
Doch auch diese KI-Systeme haben Grenzen, scheitern an Aufgaben, die für das Gehirn leicht sind. Nun kommt Hochreiter, der inzwischen im österreichischen Linz lehrt und forscht, seinerseits mit der nächsten womöglich bahnbrechenden Idee um die Ecke: Er stellte unlängst vor, wie er LSTM weiterentwickelt hat - unter dem Kürzel xLSTM, das steht für Extended Long-Short-Term-Memory. Die bisherigen Schwächen will er reduziert und zugleich die Vorteile gegenüber den gegenwärtig angesagten Transformer-Modellen verbessert haben.
Wie funktioniert das? Was steckt dahinter? Wie weit ist sein Unternehmen NXAI? Über all das sprechen wir in dieser Episode.
Comments
Top Podcasts
The Best New Comedy Podcast Right Now – June 2024The Best News Podcast Right Now – June 2024The Best New Business Podcast Right Now – June 2024The Best New Sports Podcast Right Now – June 2024The Best New True Crime Podcast Right Now – June 2024The Best New Joe Rogan Experience Podcast Right Now – June 20The Best New Dan Bongino Show Podcast Right Now – June 20The Best New Mark Levin Podcast – June 2024
In Channel