Discover矽谷輕鬆談 Just Kidding TechS2E37 AI 的「小」革命:小型語言模型才是未來?
S2E37 AI 的「小」革命:小型語言模型才是未來?

S2E37 AI 的「小」革命:小型語言模型才是未來?

Update: 2025-11-09
Share

Description

加入頻道會員,解鎖更多專屬福利:

👉 https://www.youtube.com/channel/UCJIPFjZSCWR15_jxBaK2fQQ/join


雖然大家都在追求「越大越好」的 AI 模型,但真正讓 AI 普及、走進每個人生活的關鍵,可能是那些「小」到能在你手機上跑的模型。


Google、Meta、微軟甚至蘋果,都在默默佈局小型語言模型。它們更快、更便宜、更懂特定領域,甚至在某些任務上已經超越大模型。


這集我們就來聊聊:

🤖 為什麼小模型可能才是 AI 普及的關鍵?

⚙️ 小模型是怎麼被「蒸餾」出來的?

💡 MiniLLM 為什麼有時能打敗老師?

📱 當 AI 可以在手機上運行,Nvidia 的 GPU 還會是主角嗎?

🏁 蘋果的「混合模式」策略,會不會是最後的贏家?


🎧 如果你也好奇 AI 的下一場戰爭,不是在雲端,而是在你手上,這集你一定要聽。

🔗 《矽谷輕鬆談》傳送門 👉 https://linktr.ee/jktech

(00:00 ) 開頭

(01:05 ) 小型語言模型有什麼特點?

(03:36 ) 成本省近百倍?這才是真正的關鍵

(04:33 ) 什麼時候該用大模型 vs 小模型?

(06:20 ) 小孩子才做選擇:我大小模型都要!

(07:27 ) 或許蘋果才是最後的贏家?

(08:37 ) 深入解析小模型訓練核心:蒸餾是什麼?

(10:28 ) 進階蒸餾:讓學生模型學會「思考機率」

(11:21 ) MiniLLM 蒸餾法:只學最有用的部分

(12:31 ) 模型怎麼變小、推論又能更快?

(14:17 ) 手機也能跑 AI?GPU vs NPU 大比拼

(15:43 ) 原來你的手機早就有 NPU 了

(16:33 ) 黃仁勳爸爸出馬:GPU 才是王道!

(17:12 ) 反對陣營回嗆:NPU 已經夠用了


Comments 
In Channel
loading
00:00
00:00
x

0.5x

0.8x

1.0x

1.25x

1.5x

2.0x

3.0x

Sleep Timer

Off

End of Episode

5 Minutes

10 Minutes

15 Minutes

30 Minutes

45 Minutes

60 Minutes

120 Minutes

S2E37 AI 的「小」革命:小型語言模型才是未來?

S2E37 AI 的「小」革命:小型語言模型才是未來?

柯柯與肯吉在矽谷