Token 是大模型处理文本的基本单位，上下文窗口是一次对话最多能处理的 token 数量，两者共同决定模型「一次能看多少、记多久」。
本文由北京国信诚商互联网科技有限公司整理 · 更新于 2026-10-31基本定义
Token 是大模型切分文本的最小单位：一个汉字通常对应一到两个 token，英文单词可能被拆成若干片段。模型的计费、速度与长度限制都以 token 计量。
上下文窗口（Context Window）指模型单次调用能够容纳的 token 上限，包含系统提示、历史对话、检索资料与本次提问。超出窗口的部分会被截断，模型根本「看不到」。
为什么重要
上下文窗口直接决定几类能力边界。
- 长文档处理：合同、报告能否整篇放进一次对话
- 多轮对话：聊得越久，历史占用越多，需要摘要压缩
- 知识库问答：检索多少段资料受窗口限制
- 成本与速度：token 越多，费用越高、响应越慢
常见误区
对窗口的误解常导致效果不达预期。
- 认为窗口大就一定好：长上下文中的中段信息容易被忽略
- 把整库资料塞进去：既昂贵又降低准确率
- 忽略输出占用：回答本身也消耗窗口额度
- 以为模型会记住历史：跨会话需要应用层存储
实践建议
合理做法是「少而准」：先用检索筛出最相关的几段资料，再连同问题一起送入模型；长对话定期做摘要归档，把结论固化为简短上下文；对固定业务场景提前测算 token 成本，避免上线后费用失控。窗口大小是资源约束，不是内容策略。
常见问题
一个汉字算几个token？
通常一到两个，取决于分词方式，不同模型的换算比例略有差异。
上下文窗口越大越好吗？
不一定。窗口大会增加成本，且模型对超长上下文中间部分的注意力会下降。
超出窗口会报错吗？
多数服务会截断或报错，具体行为取决于接口与调用方式，需提前做长度控制。