什么是代码语料？编程能力是从哪学的

大模型的编程能力，是从代码语料里一行行学出来的。所谓代码语料，就是训练数据里所有和编程有关的材料：开源仓库的源码、函数片段、技术文档、教程问答帖，甚至报错日志。一个模型写函数时结构清不清楚、遇到边界条件会不会漏判断，很大程度上取决于它看过的代码长什么样。

代码语料里都装了什么

一份典型的代码语料至少包含四类材料。第一类是完整开源项目，它们提供工程级别的上下文，让模型知道真实项目里文件怎么组织、模块怎么互相调用。第二类是碎片化代码片段，比如问答社区里的函数示例，教模型一个小功能的标准写法。第三类是自然语言与代码的混合材料，比如带注释的源码和解释接口用法的文档，帮模型建立“这段话对应这段代码”的映射。第四类是围绕代码的讨论，比如 issue 里对一个 bug 的争论过程，让模型理解一段代码为什么被改成现在这样。

四类材料各补一块能力，对照着看。

这些材料进训练前通常要过筛。许可证不干净的项目、机器批量生成的重复代码、和教学无关的密钥文件，都会被清掉。筛完还要按语言和领域分堆，Python、Java、C++ 的量怎么分配，直接影响模型在不同语言上的表现，这块思路和多语言语料的配比是相通的。

像学徒翻师傅的代码库

理解代码语料，可以类比一个学徒跟着师傅学手艺。学徒的办法是翻师傅写过的所有代码，看得多了，遇到相似需求就知道大概的写法。模型也是这样：它把代码当成一种特殊语言，统计“什么场景下出现什么写法”的规律。让它写一个排序函数，它关注的是训练数据里最常伴随这类需求的代码形态，排序的意义本身并不在它的理解范围内。

这个类比也解释了为什么代码能力提升快。源码公开、海量、格式规整，比随手抓取的网页文本质量高得多。一个熟练程序员几十年的积累，可能还不如一个头部开源仓库的记录完整，而模型能同时翻完成千上万个这样的仓库。数学语料被单独拎出来，走的是同一条专门化路线。

类比为什么不完全成立

学徒翻代码库的类比，有两处会失效。其一，学徒会追问为什么这么写，会运行代码验证理解；模型只从文本形态上学习，它见过能跑通的代码，也见过跑不通的代码，却分不清哪个对，除非训练数据本身给出了足够强的倾向。其二，代码的正确性可以靠运行验证，而训练阶段的模型没有运行这个动作，它学到的只是看起来对的统计规律。

这两处失效带来一个直接后果：代码语料堆得够大，模型能写出像模像样的代码，但边角场景照样出错。变量命名看着规范，逻辑却在某个分支上漏了判断，这类问题在真实使用中很常见。中文语料面临的数据质量问题，在代码数据上同样存在。

怎么判断编程能力学得怎么样

对普通使用者来说，判断方法很朴素：让它写一个你熟悉的场景代码，看结构、看边界处理、看注释质量。函数名清晰、异常分支齐全、注释解释了意图，通常说明训练时的代码语料质量不错。另一个信号是语言覆盖面，冷门语言也能写出大致正确的代码，往往意味着语料来源广，筛选和标注规范的执行也比较扎实。

现在不少工具把这种能力包装成了日常助手。DeepSeek 在开发者群体里被讨论得很多，常被用来生成和解释代码；通义千问也能在对话里完成类似任务。它们背后是同一套逻辑：代码语料决定了编程能力的底子，提示词和微调只在这个底子上做修饰，而断点续训让长时间训练中断后这份底子不至于丢。

速查表：代码语料包含四类材料——完整项目、代码片段、文档注释、讨论记录；进训练前要过许可证和去重筛；类比是学徒翻师傅代码库；失效点在模型不会真的运行验证。

关于代码语料的三个常问问题

• 代码语料越多编程能力越强吗？不一定，重复代码和低质量片段堆再多也提升有限，配比和去重比单纯堆量更关键。
• 为什么有的模型 Python 强、C++ 弱？因为训练时两类代码的占比不同，Python 在公开仓库里数量占优，模型见得就多。
• 代码语料需要授权吗？负责任的做法是遵守各仓库的开源许可证、标注来源，这也是训练合规讨论的一部分。