GitHub Copilot 通过上下文缓存和自动模型提高效率

GitHub 推出了其 Copilot AI 助手的重大升级，旨在提高成本效率并简化开发者工作流程。这些更新于 6 月 17 日宣布，重点是更智能的上下文处理和自动模型选择功能，这两者共同旨在减少令牌使用，同时提高复杂任务的性能。

随着 Copilot 现在采用基于使用的计费模式——每处理一个令牌就消耗 AI 点数——效率不仅是技术挑战，更是开发者的关键成本因素。每次与 Copilot 的交互都涉及一个上下文窗口，包括活动文件、聊天历史和工具输出。这个窗口必须符合模型的令牌限制，因此优化对于避免超额收费和最大化价值至关重要。

通过上下文缓存实现效率提升

最显著的变化之一是 GitHub Copilot for Visual Studio Code 中引入了提示缓存功能。重复的上下文，例如工具定义和对话历史，不再需要为每次交互重新计算。相反，缓存数据允许 Copilot 重用先前的提示前缀，从而显著减少令牌使用的开销。工具搜索功能还支持按需加载工具定义，避免在不需要时将整个工具模式发送到模型中造成的低效。

随着 Copilot 与越来越多的工具集成，从终端命令到特定产品操作，这一改进尤为有价值。通过缓存和推迟不必要的数据，开发者可以将更多的 AI 点数用于解决实际任务。

通过自动模型选择实现更智能的任务匹配

新的自动模型选择功能解决了一个关键挑战：将任务的复杂性与合适的 AI 模型匹配。不再依赖“一刀切”方法，Copilot 现在会动态评估任务意图和实时模型健康状况，从而选择最适合的模型。较轻的任务（如快速编辑）会分配给更高效的模型，而复杂的多文件更改则利用具有更深层推理能力的模型。

根据 GitHub 的说法，初步评估显示，这种方法不仅节省了令牌成本，还能保持质量。该自动系统使用名为 HyDRA 的路由模型，该模型分析代码复杂性和调试难度等因素。重要的是，路由仅在自然边界（例如较旧上下文被压缩时）切换模型，以避免中途会话缓存中断。

对开发者的更广泛影响

这些更新正值关键时刻。6 月 1 日，GitHub 将 Copilot 转换为基于使用的定价，每个 AI 点数收费 $0.01，相当于大约 1,000 个令牌。开发者和组织现在必须更加注意如何管理其 Copilot 使用量。新的效率功能旨在通过确保更少的令牌浪费在重复或不必要的计算上来减轻这一负担。

随着 Copilot 扩展以支持更大的上下文窗口（某些模型最近增加到 192K 令牌），这些更新也有望在长时间运行的复杂会话中提高性能。对于使用 Copilot Business 或 Enterprise 计划的团队（现默认使用 GPT-5.3-Codex），这些优化与更广泛的基础设施扩展努力（包括微软最近使用 AWS 处理激增的需求）保持一致。

最大化 AI 点数的实用提示

GitHub 还提供了实用指导，帮助开发者更高效地使用 AI 点数：

• 从自动开始：使用自动模型选择功能，以确保成本与性能的最佳平衡。
• 聚焦上下文：压缩长时间运行的会话并指定相关文件，以减少不必要的令牌使用。
• 避免中途会话更改：在会话中切换模型或设置会重置缓存数据，从而增加令牌消耗。
• 计划并行化前的任务：对于大型任务，提前规划工作流程，以最大限度减少并行代理中的重复令牌使用。

接下来会发生什么？

自动模型选择功能已在 Copilot 的各个体验（包括 Visual Studio Code、GitHub.com 和移动端）中上线。GitHub 计划在未来几个月将该功能推广到更多平台，如 Copilot CLI 和其他 IDE。此外，自动模式将成为免费和学生计划的默认模型选择选项，并允许管理员控制强制使用该功能。

这些变化凸显了 GitHub 致力于让 AI 工具对开发者更易于访问且更具成本效益。随着令牌效率成为竞争的差异化因素，这些更新可能为 AI 助手如何管理上下文和资源设定新的标准。