수도리부트

2 Episodes

Reverse

LLM을 더 빠르게 서빙하는 법, KV 캐싱 & Speculative Decoding

2024-11-1642:58

LLM을 더 빠르게 서빙하는 법 - KV 캐싱 - Paged Attention - vLLM - Speculative Decoding - OpenAI 프롬프트 캐싱 - OpenAI Predicted Outputs Physical intelligence, - AI 로봇 - Action 모델

2024년 AI 시장 요약, 2025년 예측

2024-11-1347:24

State of AI 2024년 보고서나 나왔습니다 NVIDIA의 독주체제는 계속 될 것인지. 앞으로는 어떤 AI 시장 변화가 있을 것인지. 살펴보죠.

#box-pro-ellipsis-179123989008782{-webkit-line-clamp:2;}수도리부트