DiscoverKnowledge Science - Alles über KI, ML und NLPEpisode 202 - KI im Schlafmodus: Wie Sleep-Time-Compute Sprachmodelle effizienter macht
Episode 202 - KI im Schlafmodus: Wie Sleep-Time-Compute Sprachmodelle effizienter macht

Episode 202 - KI im Schlafmodus: Wie Sleep-Time-Compute Sprachmodelle effizienter macht

Update: 2025-05-04
Share

Description

Send us a text

In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der KI-Optimierung ein: Wie können Leerlaufzeiten genutzt werden, um Sprachmodelle effizienter zu machen? Mit einem Blick auf das Paper Sleep-Time-Compute der UC Berkeley diskutieren sie, wie Vorverarbeitung und Caching Latenzen reduzieren, Kosten sparen und sogar bessere Ergebnisse liefern. 

Sleep time Compute: https://arxiv.org/abs/2504.13171

Support the show

Comments 
In Channel
loading
00:00
00:00
x

0.5x

0.8x

1.0x

1.25x

1.5x

2.0x

3.0x

Sleep Timer

Off

End of Episode

5 Minutes

10 Minutes

15 Minutes

30 Minutes

45 Minutes

60 Minutes

120 Minutes

Episode 202 - KI im Schlafmodus: Wie Sleep-Time-Compute Sprachmodelle effizienter macht

Episode 202 - KI im Schlafmodus: Wie Sleep-Time-Compute Sprachmodelle effizienter macht

Sigurd Schacht, Carsten Lanquillon