让 AI 作一首曲子，业内有两条主流路线：一条自回归，像写字一样一个 token 接一个 token 往下生成；一条扩散，从一片噪声里逐帧「擦」出音乐。两条路最终都交出能听的成品，生成的方式却南辕北辙，长处短处也各据一头。这篇把两条路线的机制摆开讲清：token 怎么接、噪声怎么去，各自擅长什么、短板卡在哪，最后按任务维度对照；哼一段旋律让 AI 接着编的玩法，属于自回归路线的顺延，见哼唱生成音乐一篇。
自回归路线：一个 token 接一个 token
自回归路线把音乐当语言写。音频先经神经编解码器切成离散的 token，一段音乐变成一串符号；模型读过开头，逐个预测下一个 token，接满为止。这条路的好处与写文章同源：结构沿时间线顺序展开，前奏、主歌、副歌自然推进，长曲子的段落衔接与旋律延续更稳；条件也好加——文字描述、参考旋律、哼唱音频都能作为开头喂进去，让模型顺着往下编，哼唱生成音乐一篇的接续玩法走的就是这条路线。代价在速度：token 一个个出，生成一分钟的音乐要跑上万个步进，多轨音频的 token 数量还要翻倍，推理时间与算力开销都往上走；而且前一个 token 猜偏了，后面会顺着偏下去，长曲子里偶尔出现越编越漂的走样。
扩散路线：从噪声里逐帧去出音乐
扩散路线换了一个世界观：训练一个「去噪」模型——给它看大量干净音乐与噪声的混合样本，让它学会从一团噪声里一步步还原出音乐。生成时喂进去的只是一段随机噪声，模型迭代若干轮，把噪声逐帧擦掉，频谱或隐空间里的音乐就显形了。它的强项在音质与控制：逐帧并行生成，速度可控，配合蒸馏还能再提速；整个去噪过程可以插手——指定某几帧的旋律、某一秒的能量，引导条件在每一步都生效，精细控制比自回归顺手。短板在长程结构：逐帧的去噪对「三十秒之后该回到主歌」这类全局规划，天然没有自回归顺，长曲子的段落逻辑要靠额外的结构安排来补。
长短对照：连贯与控制各站一头
把两条路并排看：结构连贯，自回归占优，长曲子的起承转合更顺；生成速度，扩散占优，逐帧并行天然快；精细控制，扩散占优，可以逐帧提要求；条件接续，自回归占优，顺着开头往下编最自然；误差形态也不同——自回归有越编越漂的累积风险，扩散每帧独立去噪、不走偏，但也少了叙事惯性。两条路线在产品里常见混搭：用自回归铺整体结构，再用扩散补音质或改局部；或反过来，先扩散出段落再自回归串联。AI 音乐的整体能力盘，见音乐能力一篇；生成的曲子与采样库成品怎么选，采样库配乐和AI生成配乐一篇做过对照。
按任务选路线
落到任务上，选路的判断清晰起来。要长结构、要接续参考、要跟着哼唱往下编——自回归对口；要快出小样、要逐秒控制、要对指定段落动手术——扩散对口；歌词与旋律咬合要求高的成品歌，两条路各自都有专门的工程手段在补课，选服务时真正要比的，是各家在结构安排与控制接口上的完成度。想让两条路线的差别听出来，可以让豆包用同一句文字描述分别生成两段小样，对比段落衔接与音色质感，再让 DeepSeek 把「自回归与扩散在结构连贯与精细控制上的差异」整理成对照表，听完再对表，两条路的脾气一次摸清；自动配乐这类检索与生成交接的场景，机制见智能配乐一篇。
| 任务 | 选哪条路线 | 原因 |
|---|---|---|
| 要长结构，前奏到副歌自然推进 | 自回归 | 结构沿时间线顺序展开，段落衔接更稳 |
| 要跟着参考旋律或哼唱往下编 | 自回归 | 条件作为开头喂进去，顺着往下接最自然 |
| 要快出小样 | 扩散 | 逐帧并行生成，配合蒸馏还能再提速 |
| 要逐秒控制，对指定段落动手术 | 扩散 | 引导条件在每一步去噪时都生效 |
音乐生成两条路线速查
- 自回归：音频切成 token 逐个预测，结构连贯、便于接续
- 扩散：从噪声逐帧去噪，并行快、精细控制顺手
- 自回归短板：串行慢、误差沿序列累积
- 扩散短板：长程结构弱，段落逻辑要额外安排
- 产品里常混搭：一条铺结构，一条补音质或改局部
关于音乐生成路线的三问三答
- 两条路线生成的音乐听感差在哪？：粗听都是完整的曲子，差别集中在长曲子上——自回归的段落推进更自然，扩散的音色质感与细节往往更精致；几十秒的小样层面，两者差距不明显，看各家模型的调校。
- 哼唱接歌为什么走自回归这条线？：接续是自回归的天然形态——哼唱先转成 token 序列当开头，模型顺着往下编即可；扩散路线没有「顺着编」的结构，做接续要额外设计引导方式，成本更高。
- 以后会不会只剩一条路线？：两条线的核心约束不同——结构连贯与生成速度本来就难在同一路线上同时拉满，融合架构在研究里有进展，短期内按任务分工选路的局面会延续。
