Large language model · LLM
19 在大规模语言数据等材料上训练、能够建模词元序列关系并完成语言任务的模型。常见生成式模型依据上下文逐步预测和生成后续词元。
- 关键要点
- 训练塑造参数,推理时的上下文影响本次输出;聊天产品还可能组合检索、工具、记忆和规则,产品能力不完全来自模型本身。
- 适用边界与常见误解
- 语言流畅不等于事实正确。模型参数不是一份可逐条核验的文献数据库;输出能力也不能直接证明它具有人类式理解或意识。
- 看一个例子
- 同一个模型接入公司文档检索后,可以回答内部资料问题;新增能力来自模型与检索系统的组合。
语言模型在一次处理过程中可接收或维持的上下文容量上限,通常以词元数衡量。具体产品如何分配输入、输出及内部处理预算,要以其说明为准。
- 关键要点
- 提示、聊天历史、检索材料和工具结果都可能占用上下文。系统可通过截断、摘要或检索选择送入本次请求的材料。
- 适用边界与常见误解
- 上下文不是永久记忆,也不等于模型训练知识。容量足够只说明材料可以被容纳,不保证模型准确利用其中每个细节。
- 看一个例子
- 一段很早的聊天没有被送入当前请求,即使界面上仍可翻到,模型也未必能在本次回答中使用它。
Retrieval-augmented generation · RAG
21 在生成回答前或生成过程中,从外部知识源检索相关材料,并把材料提供给生成模型作为依据的一类方法。它把检索与生成结合起来。
- 关键要点
- 典型环节包括资料整理、检索、候选筛选、上下文组织、生成和引用核验。答案质量受资料质量、检索覆盖与模型使用材料的能力共同限制。
- 适用边界与常见误解
- RAG 通常不直接改变模型参数,因而不同于微调。接入资料库不保证检索命中、引用准确或不产生幻觉;访问权限仍需在检索环节执行。
- 看一个例子
- 回答公司报销问题前,先检索当前制度中的相关条款,再据此作答并给出对应出处。
生成式 AI 输出看似可信,却与可核查事实或给定来源不一致、或缺乏来源支持的内容。研究中的具体分类与判定标准并不完全统一。
- 关键要点
- 应区分事实错误与对材料的不忠实表达,针对人物、数字、引文和因果判断逐项核验,并允许模型在证据不足时保留不确定性。
- 适用边界与常见误解
- 这个术语不意味着模型有人的知觉体验或有意欺骗;明确要求创作虚构内容时,虚构本身也不构成任务错误。
- 看一个例子
- 模型给出一篇实际上不存在的论文标题、作者和 DOI,即使格式完整、语言专业,也属于需要核查的生成错误。