网页内容是怎么被抽取的？从 HTML 到正文

在 AI 搜索框里输入一个问题，几秒后得到一段带来源的答案，多数人以为系统直接「读懂」了那些网页。实际拿到手的，是一整页 HTML 代码：正文混在导航栏、广告位、推荐列表、版权声明中间，像一份夹着传单和目录的报纸。把真正属于正文的部分从代码里剥出来，这个环节叫正文抽取，它发生在检索之后、组织答案之前，是决定答案「料足不足」的关键一步。这篇讲清抽取环节在做什么、为什么有的网页抽不出东西、以及这个看不见的步骤如何影响你最终看到的答案；信源从哪里来的问题，见信源池一篇，那里讲检索范围，这里讲拿到网页之后的加工。

一页代码里混着几类内容

打开任意一个网页的源代码，你会看到标签、脚本、样式堆在一起，浏览器渲染出来才是一张干净的页面。对抽取程序来说，一页代码里通常混着四类内容：正文主体、站内导航（菜单、面包屑、侧边栏）、与正文无关的干扰块（广告、推荐阅读、评论区、订阅弹窗）、以及页面框架（页头页脚、版权声明、备案号）。人的眼睛靠排版区分它们，机器只能靠结构特征猜：正文往往在特定容器里、段落长、标点密、成段的文字连绵；导航和菜单则是短词的罗列，链接密度极高。各家产品的联网问答（如腾讯元宝、通义千问的搜索模式）都内置了这一环节，实现各有差异，思路大体相同——把链接密、文字短、位置靠边框的块先扔掉，剩下的再判断哪块是正文。

抽取的三步：去噪、定主干、留正文

拆开来说，抽取大致分三步。第一步去噪：按上面的特征把广告、导航、评论这些干扰块摘除，这一步决定干净程度，摘不干净，答案里就会混进「热门推荐」式的碎片。第二步定主干：一页里文字最多的区域未必是正文——有的页面评论区比正文还长，有的专题页正文只有一段，定主干就是判断哪个容器装着这篇文章的本体，判断依据包括容器位置、文本长度占比、标题与内容的呼应关系。第三步留正文：把主干里的段落、小标题、列表按阅读顺序拼起来，表格与图片说明则视处理能力决定保留与否。三步走完，一页代码变成一份干净的文稿，才有资格进入后面的要点提取与组织成段，合成的整体做法见多段合成一篇。

抽取失败，答案就缺料

抽取并非每次都成功。常见的失败有几种：页面主体是图片或视频，文字内容根本不在代码里；站点做了反爬处理，抓到的只有登录框或验证页；版面过于复杂，去噪时把正文误当干扰块扔了，或者定主干定到了评论区。失败之后系统的表现各不相同：有的换一个来源顶上，有的直接标记这个源「内容不可用」，于是你看到的答案会少一条引用、某一方面没有提及，甚至明显单薄。这就是为什么同一个问题，答案的出处有时是五个有时只有两个——检索也许都查到了，能抽出正文的却没那么多。碰到答案明显缺料的情况，与其反复重问，不如点开来源卡片亲自看一眼原文，引用来源怎么核对，引用来源一篇有专门讲法。

抽取质量怎么影响你的答案

对使用者来说，理解抽取环节有两个实际用处。一是解释现象：为什么有的网站内容明明很好，AI 搜索却很少引用它——多半是页面结构对抽取不友好，正文埋得太深或渲染在脚本里；反过来，版面干净、正文突出的站点更容易被完整抽取，在答案里的出现频率也更高。二是指导操作：想让答案更扎实，提问时可以指定偏好来源的类型，比如「找官方文档」或「找媒体报道」，这类站点通常抽取质量更稳定；拿到答案后如果某个关键点没有出处支撑，可以要求只依据某一条来源重新作答，把范围收窄到能抽干净的页面上。联网问答从提问到出答案的完整分步，问答流程一篇有整体地图，抽取只是其中一环，配合着看更清楚。日常想批量整理多个网页的内容，也可以把链接交给豆包或 Kimi，让它们逐篇提取要点做成对照表，省去逐页翻看的功夫。

网页抽取要点速查

• 一页代码混着正文、导航、干扰块、页面框架四类内容
• 抽取三步：去噪、定主干、留正文，步步都可能出错
• 抽取失败的表现：引用变少、某方面没提及、答案单薄
• 缺料时点开来源卡片看原文，别只反复重问
• 指定官方文档、媒体报道类来源，抽取质量通常更稳

网页抽取快问快答

• 为什么 AI 搜索引用的网页，我点开却找不到答案里那句话？：多半是抽取与渲染的差异：AI 读的是从代码里剥出来的正文，你看到的页面可能有分页、折叠、需要点击展开的部分，或者内容在评论与正文之间来回穿插。先在页面里用浏览器搜索关键词，找不到再考虑来源是否可靠。
• 答案里出现「热门推荐」「相关阅读」这类内容，是抽取出错了吗？：有这个可能。去噪没做干净时，页面上的推荐位文字会被误当成正文混进素材，答案因此掺进与问题无关的碎片。发现这种情况，重问时加一句「忽略页面上的推荐内容」，或换一个来源更干净的问法。
• 抽取这一步有没有办法跳过？：跳不过。只要答案声称基于网页内容，就必须先把网页变成文字，这一环省不得。你能做的是选对来源与问法，让这一步的失败率降低；完全绕开检索的使用方式，见纯模型与联网模式的对比，检索增强一篇讲过两条链路的区别。