欢迎来到谷粒粒的节目《程序员补缺》！在这里，我们补充编程以外的知识。

本期节目，我们将深入探讨AI工程的核心实践，从基础模型的最新进展出发，重点聊聊如何运用检索增强生成（RAG）和参数高效微调（PEFT，特别是LoRA）来适配模型，解决大模型的幻觉与知识局限性。我们还将剖析推理优化的关键指标与技术，探讨开放式生成任务的评估难题，并强调数据工程在构建实用AI应用中的决定性作用，包括合成数据的潜在风险。最终，我们将梳理AI应用的技术栈分层，提炼出在快速发展的AI领域中，恒定不变的工程成功要素。

🎯 本期你将收获：

✨ 基础模型的能力与挑战：了解当前大模型的最新进展，以及幻觉与知识局限性等普遍问题。
✨ RAG深度解析：掌握如何通过实时查询外部知识库，让模型变得更强大、更可靠。
✨ PEFT与LoRA实践：理解参数高效微调如何降低模型适配门槛，实现成本与效果的平衡。
✨ 推理优化策略：学习量化、KV缓存、推测解码等技术，提升AI应用的响应速度与吞吐量。
✨ 生成模型评估新思路：探讨"AI作为裁判"等评估方法，并警惕数据污染带来的评估偏差。
✨ 数据为中心AI的理念：认识高质量数据在AI应用中的核心地位，以及合成数据的机遇与风险。
✨ AI应用技术栈概览：宏观理解构建实用AI应用所需的整体工程架构与关键环节。

本期播客时间点：
00:00 - 00:37 介绍AI工程的核心挑战与目标
00:37 - 01:33 基础模型的能力与局限性（幻觉问题）
01:33 - 02:56 检索增强生成（RAG）的原理与价值
02:56 - 04:14 参数高效微调（PEFT/LoRA）技术解析
04:14 - 05:39 推理优化关键指标与方法
05:39 - 06:37 生成模型评估的难点与解决方案
06:37 - 07:52 数据工程的重要性与合成数据风险
07:52 - 09:33 AI应用技术栈分层与工程实践总结如果你对AI工程、如何克服大模型挑战以及构建稳定可靠的AI应用充满好奇，本期内容将为你提供一份独到的见解和实用的启发。想要获取更多程序技能以外的干货，欢迎关注我们的频道。我们下期再见！

本期内容涉及的专业术语表：
• 幻觉 (Hallucination): 指大型语言模型生成听起来合理但实际上不正确或捏造的信息的现象。
• AI工程 (AI Engineering): 涉及设计、构建、部署和维护人工智能系统的实践，旨在确保其在实际应用中的稳定性、可靠性和效率。
• RAG (Retrieval-Augmented Generation): 检索增强生成，一种结合信息检索系统和生成模型的技术，允许模型在生成回答时参考外部知识库，以减少幻觉并提高准确性。
• PEFT (Parameter-Efficient Fine-Tuning): 参数高效微调，一类微调大型模型的方法，只更新模型参数的一小部分，大大降低了计算资源和存储需求。
• LoRA (Low-Rank Adaptation): 低秩适应，一种流行的PEFT技术，通过向模型现有权重矩阵注入低秩适配器来微调模型，而无需更新所有原始参数。
• 推理优化 (Inference Optimization): 旨在提高AI模型在生产环境中生成输出（推理）的速度和效率的技术和策略。
• TTFT (Time To First Token): 首个Token生成时间，衡量模型从接收请求到生成第一个输出Token所需的时间。
• TPOT (Time Per Output Token): 每Token生成时间，衡量模型生成每个后续Token的平均时间，反映了模型的生成速度或吞吐量。
• 量化 (Quantization): 通过使用较低精度（如8比特或4比特）的数字表示模型权重和激活值，以减少内存占用和加速计算的优化技术。
• KV缓存 (KV Cache): 在Transformer模型中，用于存储过去计算的键（Key）和值（Value）向量的缓存，以避免在生成序列时重复计算，从而加速推理。
• 推测解码 (Speculative Decoding): 一种加速推理的技术，使用一个小型、快速的模型预先生成草稿，然后由一个大型、准确的模型并行验证，以提高整体生成速度。
• AI作为裁判 (AI as a Judge): 一种评估生成模型输出的方法，利用能力更强的AI模型（如GPT-4）来自动评估另一个模型的生成内容质量。
• 数据污染 (Data Contamination): 指在模型训练数据中不小心包含了测试集内容的情况，导致评估分数虚高，无法客观反映模型真实性能。
• 数据工程 (Data Engineering): 专注于设计、构建、维护和优化数据基础设施和流程的学科，以确保数据能够被高效地收集、存储、处理和访问，为AI模型提供高质量的输入。
• 数据为中心AI (Data-Centric AI): 一种人工智能开发范式，强调通过改进数据质量和一致性来提升AI系统性能，而非仅仅专注于模型架构的改进。
• 模型坍塌 (Model Collapse): 指当模型过度依赖自身生成的合成数据进行训练时，其性能和多样性会逐渐退化的现象。
• 技术栈 (Technology Stack): 构建和运行一个应用所需的所有技术（编程语言、框架、数据库、服务器等）的集合。