跳到主内容

什么是计算机视觉?AI 是怎么「看懂」图片的

2026-10-05 发布 来源:我告诉你AI导航 阅读

手机相册把三年的照片按人脸分组,小区门禁在半秒内认出一张脸,高速卡口从一张模糊抓拍里读出车牌。这些功能背后是同一类模型:把像素变成判断。AI 在这条路上走得比多数人以为的远,也比多数人以为的窄——它擅长的是见过很多次的模式,遇到没见...

手机相册把三年的照片按人脸分组,小区门禁在半秒内认出一张脸,高速卡口从一张模糊抓拍里读出车牌。这些功能背后是同一类模型:把像素变成判断。AI 在这条路上走得比多数人以为的远,也比多数人以为的窄——它擅长的是见过很多次的模式,遇到没见过的构图就开始猜。

一张图进入模型时只是一串数字

一张 224×224 的彩色图,是十五万个 0 到 255 的整数,分成红绿蓝三个通道。这里面没有「猫」,没有「边缘」,只有亮度值。计算机视觉要做的,是从这堆数字里找出能对应到物体的规律。

深度学习之前的做法是人先定义特征:边缘用梯度算,角点用局部窗口的灰度变化算,再把这些特征交给分类器。问题在于什么样的特征有用,取决于拍的是什么,人不可能为每个场景设计一套。卷积网络把这层也交给数据,网络自己从低级边缘堆到中级纹理,再到部件和物体。

五类任务,输出形态完全不同

「识别图片」是一句太粗的话。按输出切,至少有五种任务,难点各不相同:

任务类型输出难点
图像分类一个类别标签,或每个类别的概率类内差异大、类间差异小;同框多个物体时只能给一个答案
目标检测若干矩形框,每个带类别和置信度小目标、密集遮挡、尺度跨度大;置信度不等于准确率
语义分割与原图同尺寸的标签图,逐像素分类边界处最模糊;同类不同个体不区分
实例分割每个物体一个掩码,同类也要分开重叠区域的归属难判;标注成本最高
文字识别一串字符及其位置倾斜、低分辨率、艺术字;版面复杂时输出顺序会乱

最后一行常被当成分类来做,其实它是序列预测:模型按阅读顺序吐出一串字符,顺序错了,字认得再准也没用。任务选错,后面调参全是白费。

卷积为什么天然适合图像

三个先验写进了结构里。局部性:一个像素只和邻域有关,3×3 的窗口够用。权重共享:同一个检测竖直边缘的滤波器扫过整张图,猫在左上角还是右下角都能识别。层次性:浅层看边缘,深层看部件。三者的直接后果是参数少——一个 3×3×3 的卷积核接 64 个通道,只有 1792 个参数;同样输入接全连接到一千类,是上亿个。卷积核到底在算什么和池化怎么把特征图缩小是这套结构的两个基本零件。

精度数字是怎么被读错的

分类看 top-1 和 top-5 准确率,检测看 mAP,分割看 mIoU,三个数不能互相比较。更要紧的是测试集的分布。论文里的八成是在清洗过、构图规整的数据上测的,换成现场的低照度抓拍,掉二十个点不奇怪。平均值还会掩盖长尾:整体九成二,某个少见类别可能只有四成。

检测里的置信度也常被误读。它是模型对「这个框里有目标」的自信程度,不直接等于「这个框是对的」的概率,两者要经过校准才对得上,置信度和实际命中率为什么对不上讲的就是这件事。业务上按 0.5 卡阈值,实际命中率可能只有三成。

它在哪些画面上会失灵

光照是第一道坎。逆光时人脸成一团黑,夜间低照度下噪声盖过纹理,过曝则直接丢掉细节。遮挡是第二道:挡住三分之一还能认,挡住一半以上,检测框开始漂移,分割掩码会缺一块。

对抗扰动更隐蔽。在帽子上贴一块特定图案,就能让行人检测器看不到人;这类攻击在真实世界里已被验证过。训练集里没有的场景同样会崩——没见过雪地里的白色卡车,模型可能把车当成背景。数据不均衡还会带来偏见,某些人群或某些肤色的错误率明显更高,而平均值看不出来。数据增强能补多少取决于增强方式是否贴近现场,随机裁剪补不了夜间的分布差异。

更根本的一条:模型学的是相关性。哈士奇的照片常出现在雪地里,模型可能靠雪认狗,换成草地上的哈士奇就判成狼。它没有「狗是什么」的概念,只有像素统计上的相似。

落地前先问清三件事

现场画面和训练数据差多少,这一条决定要不要重新采数据。错了的代价是什么,漏检和误检哪个更贵,这决定阈值往哪边偏。有没有人工兜底,没有兜底的场景不该让模型单独做决定。三个问题答不上来,先别谈模型选型。

速查:计算机视觉

  • 输入是像素数值,模型学的是统计规律,不是物体概念
  • 分类给标签,检测给框,分割给掩码,识别给字符序列
  • 卷积省参数靠局部连接与权重共享
  • 置信度要校准后才等于命中率
  • 低照度、强遮挡、训练集外的构图是三个稳定失分点

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]