DiscoverIntervista PythonistaFast Inference e Serving con vLLM #70
Fast Inference e Serving con vLLM #70

Fast Inference e Serving con vLLM #70

Update: 2025-10-30
Share

Description

Conosciamo Nicolò Lucchesi, Senior Machine Learning Engineer presso Red Hat, e il suo lavoro su vLLM e l'ottimizzazione delle performance. Nicolò condivide la sua esperienza nel campo dell'AI e del Machine Learning, spiegando l'importanza di strumenti come Paged Attention e le sfide legate all'integrazione di nuovi modelli. Viene anche discusso il ruolo della community e le tecnologie utilizzate nel progetto vLLM, oltre a tendenze emergenti nel settore.

Comments 
loading
00:00
00:00
1.0x

0.5x

0.8x

1.0x

1.25x

1.5x

2.0x

3.0x

Sleep Timer

Off

End of Episode

5 Minutes

10 Minutes

15 Minutes

30 Minutes

45 Minutes

60 Minutes

120 Minutes

Fast Inference e Serving con vLLM #70

Fast Inference e Serving con vLLM #70

Python Milano