上下文窗口决定 AI 一次能"记住"多少内容。本文讲清它的含义、长短模型差异与实用建议。
学习内容
上下文窗口(Context Window)指大模型单次对话能同时处理的输入与输出总量,通常以 token(词元)为单位。它决定了 AI 一次能"看到"多少内容。
窗口越长,AI 越能处理长文档、长对话、长代码:读完整本书再问答、把整份合同带进去审阅、粘贴整个项目代码分析。窗口短则只能分段处理,容易"记不住前面"。
几千 token:早期模型水平,适合短问答。
几万 token:可处理中长文档与多轮对话。
十万级以上:可读整本书、长论文、大批代码。
百万级:前沿探索,接近"全书级"理解。
长文优先:处理大文档选长窗口模型。
成本权衡:窗口越长,单次调用越贵。
分段策略:窗口不够时先分段摘要再汇总。
注意"中间遗忘":超长输入下模型对中间内容记忆可能下降。
问:窗口越大就一定更好吗?
答:不一定——大窗口带来更高成本,且超长输入存在"迷失在中间"现象。
问:能通过窗口变长替代微调吗?
答:场景不同,长窗口适合"给材料再回答",微调适合改变模型固有行为。
上下文窗口是衡量模型"记忆力"的关键指标:越长越能处理复杂真实任务。选模型时结合任务长度与成本预算,长窗口解决"材料理解",微调解决"行为定制",两者配合更高效。
继续学习
AGI(通用人工智能)是所有 AI 公司的终极目标。本文讲清 AGI 与当前 AI 的区别、发展阶段与争议。
微调让通用大模型适配特定业务。本文讲清微调原理、方法与 RAG 的取舍。
RAG(检索增强生成)解决大模型知识过时与幻觉问题。本文讲清原理、流程和适用场景。
AI 工具与传统软件的本质区别在哪里?本文从工作方式、结果可控性等维度给出判断框架。
大语言模型(LLM)是 ChatGPT 等 AI 助手背后的核心技术。本文用通俗语言讲清 LLM 是什么、怎么训练、能做什么、不能做什么。
智能体工作流是让 AI 自动化完成复杂任务的编排方式。本文讲清常见模式与落地场景。