Discover给我整 growgen给我整一个浏览器上的本地多模态助手
给我整一个浏览器上的本地多模态助手

给我整一个浏览器上的本地多模态助手

Update: 2025-06-13
Share

Description

第25周总结(2025年6月13日)

📌 本周重点

2025年已过半


学习了 LangChain 和 Transformer.js,可以在浏览器中运行多模态 AI Agent


🧠 技术要点

LangChain 结构

LangChain:构建 AI 工作流,封装大模型调用

LangSmith:调试和监控工作流

LangGraph:实现复杂、多模态 agent 流程


举例:一句“今天天气如何?”背后其实涉及多个 API 调用(时间、位置、天气)+ 文本生成模型组合。


Transformer.js + ONNX

可在浏览器端运行 Hugging Face 模型(ONNX 格式)


脱离服务器,纯前端推理

实现轻量多模态 AI 交互体验


⚠️ 技术挑战

模型太大(上百 MB 到几 GB)加载慢

解决方案探索:

使用 Service Worker 的 background fetch 实现断点续传(仅支持 Chrome 系)

用户手动下载模型 + 校验 hash(兼容性更好)


🧪 其他探索

看了 BitECS,准备结合 Babylon.js 写个 ECS Demo

下周尝试评估 ECS 架构在浏览器端的性能表现


✅ 总结感悟

彻底理解了 AI agent 的结构和工作流

浏览器端跑 AI 是可能的,但仍需解决下载和兼容问题

Comments 
00:00
00:00
1.0x

0.5x

0.8x

1.0x

1.25x

1.5x

2.0x

3.0x

Sleep Timer

Off

End of Episode

5 Minutes

10 Minutes

15 Minutes

30 Minutes

45 Minutes

60 Minutes

120 Minutes

给我整一个浏览器上的本地多模态助手

给我整一个浏览器上的本地多模态助手

宫不上