验证指南

AI 检测器会出错吗?误报为何发生

了解 AI 检测器为何会产生误报和漏报、压缩和模型不匹配如何影响结果,以及如何审核有争议的提示。

文章封面,标题为:AI 检测器会出错吗?误报为何发生

会。AI 检测器可能产生误报——将真实媒体标记为 AI 生成,也可能产生漏报——未发现合成或篡改内容。结果取决于检测器被训练识别什么、收到什么媒体、使用什么阈值,以及现实条件是否与评估数据相符。

检测结果是来自模型的证据,不是对作者身份、真实性或真相的最终裁决。

AI 检测中的误报是什么?

误报是指检测器将真实或超出适用范围的内容标记为 AI 生成或篡改。漏报是指合成内容被分类为真实、没有标记或无法得出结论。

这些错误不同于不受支持的上传或系统故障,也不同于误导性说明文字:照片可能真实,而附带的故事是假的。

结果媒体由 AI 生成媒体不是 AI 生成
检测器标记为 AI真正例假正例(误报)
检测器未标记为 AI假负例(漏报)真负例

实际服务可能设有无法得出结论的状态,而不是强行给每个文件一个二元标签。当证据薄弱或覆盖范围未知时,这通常是更诚实的结果。

AI 检测器为什么会出错?

大多数被动检测器学习与训练样本相关的模式,它们并没有一种适用于所有情况的“AI”物理测试。如果新的生成工具、相机处理流程、编辑流程或压缩模式不同于检测器的训练分布,表现就可能改变。

NIST 的合成内容报告将检测视为更大透明度工具箱的一部分,该工具箱还包含来源信息、认证、标注和水印。这种分层方法反映了仅依赖分类的局限。

常见错误来源包括模型不匹配、后处理、低质量输入、局部编辑、模糊的真实标签,以及为不同运营风险选择的阈值。

模型不匹配如何造成错误结果?

检测器可能在与其训练数据相似的生成工具和数据集上表现良好,却难以推广到不熟悉的系统。新模型可能产生不同的纹理、频率模式、运动和噪声特征。

相关GenImage 基准明确评估跨生成工具检测:使用一个生成工具的图片训练,再用其他工具的图片测试。这是部署中的核心问题,因为用户很少事先知道生成模型。

反向的不匹配也很重要。检测器可能学到其数据集中真实图片的捷径特征,例如相机噪声、分辨率或预处理,然后将不寻常但真实的图片误判为 AI 输出。

压缩和编辑如何影响检测准确率?

JPEG 压缩、社交平台重新编码、截图、缩放、锐化、降噪、滤镜和反复导出都会改变像素级信号。视频还涉及帧插值、比特率变化、裁剪和音频同步。

依赖脆弱高频伪影的检测器可能在压缩后失去有用信号,也可能将普通压缩块、振铃、过度平滑或强降噪误认为合成模式。

始终识别文件版本。原始导出文件的结果与转载截图的结果不具有相同的证据价值。如有可能,请比较原件与流传副本,而不是将它们视为可互换。

为什么普通图片也可能触发误报?

真实图片出于许多原因可能在统计上不寻常。计算摄影、人像模式分割、HDR 合成、夜间模式堆叠、强降噪、放大、修复、美颜滤镜和类似插图的场景,都可能偏离简单的相机照片分布。

扫描图、截图、游戏渲染、图表、产品模型图、CGI 和数字艺术也可能超出检测器预期的“真实照片与 AI 图片”任务。模型被迫对范围外媒体分类时,仍可能返回分数,即使该分数没有意义。

解释结果前,请询问服务是否支持该媒体类型和工作流程。“上传表单接受”不等于“已针对这类内容验证”。

阈值如何改变误报和漏报?

分类器通常产生一个内部评分,并将其与判定阈值比较。降低阈值可以发现更多合成媒体,但也会标记更多真实媒体。提高阈值可以减少错误指控,但也会让更多合成内容漏过。

不存在普遍正确的阈值。审核队列可能容忍更多误报,因为每个标记都由人审核。学术诚信或欺诈决定需要强得多的流程,因为错误指控可能造成重大伤害。

除非提供商针对相关人群证明了这种解释,否则不应将分数读作校准概率。“模型分数 0.8”和“此内容有 80% 的概率由 AI 生成”并不自动等同。

多个检测器能解决问题吗?

一致结果可以增加背景,但多数投票不是证明。检测器可能共享训练数据、模型家族或预处理假设,因此错误可能相关。

不要将无关系统的分数取平均。应记录每个工具检查了什么、支持范围、文件版本及结果措辞。如果输出不同,请调查差异,而不是选择最自信的数字。

独立证据比另一个不透明的分数更有价值:来源记录、创作者披露、原始文件、较早版本或佐证视频,可以回答分类器无法回答的问题。

检测器和水印验证器有什么区别?

被动检测器推断内容是否类似与 AI 生成相关的样本。水印验证器查找已知的嵌入信号。来源验证器检查签名记录及其与素材的关系。

这些方法回答不同的问题。提供商水印的阳性结果可以在其支持的系统范围内提供直接来源证据。被动检测器可以覆盖没有水印的内容,但通常不确定性更大。Content Credentials 可以解释声明的操作,但可能缺失或被移除。

最有力的流程会结合可用渠道,同时不假装其中一种可以替代另一种。

如何解读 AIFakeScan 结果?

AIFakeScan 的方法说明指出测试版的评估和校准尚未完成。仅基于被动信号的结果仍无法得出结论,服务不提供实测 AI 概率或经过验证的准确率百分比。

查看找到了哪些证据:Content Credentials、元数据、服务可用的水印信号或被动模型观察值。整图结果可能无法定位小范围编辑。视频抽样可能漏掉短暂篡改,基础检查不包含专门的换脸或克隆语音分类。

使用AI 图片检测器或AI 视频检测器收集受支持的证据,然后在结论中保留不确定性。

可能误报后应该怎么做?

不要仅凭结果公开指控。保留确切文件并记录工具、日期、设置和输出,然后寻找能够独立支持或质疑该分类的证据。

  1. 确认媒体类型在检测器声明的范围内。
  2. 获取原始文件,而不是截图或压缩转载。
  3. 检查可用的 Content Credentials 和元数据。
  4. 追溯较早版本和创作者披露。
  5. 比较不同文件版本的结果,不要将分数取平均。
  6. 询问提供商结果含义以及有哪些验证支持。
  7. 将后果重大的案例转交给有资质的人工审核。

针对图片的调查,请参阅如何检测 AI 生成图片。针对视频,请使用如何判断视频是否由 AI 生成。

真实照片被标记时的实用审核

请把以下内容作为调查提示,而不是对特定检测器的诊断。来源主张本身也必须核查:被描述为相机照片的文件也可能包含后来的生成式编辑。

要调查的文件历史要索取的证据值得进行的比较
智能手机处理或人像模式相机原始导出文件和拍摄详情比较原件与分享副本,并记录工作流程
修图或美颜滤镜如有,提供编辑历史和编辑前图片将传统修饰与任何已声明的生成式操作分开
修复或放大应用、功能、设置和源文件询问该流程是否使用 AI 重建细节
截图或反复分享原始下载文件和分享路径比较文件证据及视觉模型输出
作为照片提交的插图或 CGI创作者的项目或导出历史应用照片检测器的假设之前先确定媒体类别

不要不断编辑文件,直到分数变成您想要的答案。请先定义比较并保留每个结果。输出变化说明系统对不同输入作出了不同回应;如果来源未知,它不能说明哪个答案正确。

写一份他人可以核查的审核记录

记录有争议的主张、文件身份、已知编辑历史、工具和日期、确切输出及未运行的检查。附上创作者提供的证据并解释冲突。一个有用的结论可能是:“检测器提示与提供的来源历史冲突;在取得原始导出文件之前,制作方式仍未解决。”这是示意性措辞模板,不是对某张测试图片的发现。

如果怀疑来源是 Google AI,请将官方 SynthID 检查与视觉分类分开。对于缺失或损坏的来源信息,请参阅C2PA 结果指南。AIFakeScan 的测试版视觉信号单独使用时仍无法得出结论。

质疑结果前加入转换对照

我们的60 文件截图与压缩案例研究说明了具体输入为何重要。对四张生成图片而言,本地模型原始输出的平均值在原件上为 0.9968,在浏览器截图上为 0.8569,缩放后为 0.7151,JPEG 质量 60 导出后为 0.5226。各文件的变化幅度差异很大。

这些数值不是准确率百分比。它们是一次实测提醒:保留原件、一次只改变一个设置并保留每个结果。如果真实照片的结果有争议,请比较未经修改的文件与每个受控衍生版本,而不是反复编辑直到分数改变。

常见问题

AI 检测器会错误指控某人吗?

会。误报可能发生,尤其是在处理范围外、经过转换或不熟悉的媒体时。不要仅凭检测结果作出处分、声誉或法律结论。

高检测分数能证明 AI 生成吗?

不能仅凭分数。您需要知道分数如何针对可比较媒体定义、校准和验证。许多模型分数不是概率。

压缩会让 AI 内容在检测器看来像真实内容吗?

压缩可能削弱检测器使用的信号,也可能引入使分类混淆的伪影。其影响取决于检测器、文件和压缩过程。

无法得出结论的结果是失败吗?

不是。当证据不足以支持可靠的二元结论时,无法得出结论是正确结果。它传达不确定性,而不是隐藏不确定性。

什么证据比检测器分数更强?

经过验证的来源信息、针对提供商的水印、原始文件、记录的制作历史和独立确认的来源背景,可以提供更直接的来源和使用证据。

实际启示

AI 检测器可以是有用的初筛工具,但其错误受数据、范围、转换和阈值影响。请将结果视为一个证据渠道,独立核查基本主张,切勿将未经校准的分数变成其设计本不支持的确定性。

常见问题

AI 检测器会错误指控某人吗?

会。误报可能发生,尤其是在处理范围外、经过转换或不熟悉的媒体时。

高检测分数能证明 AI 生成吗?

不能仅凭分数。必须针对可比较媒体定义、校准和验证该分数。

压缩会使 AI 检测器混淆吗?

会。压缩可能削弱有用信号,或引入影响分类的伪影。

无法得出结论的结果是失败吗?

不是。当现有证据不足以支持可靠的二元结论时,这一结果是合适的。

来源

  1. Reducing Risks Posed by Synthetic Content — NIST
  2. GenImage: A Million-Scale Benchmark for Detecting AI-Generated Image — GenImage authors
  3. A Sanity Check for AI-generated Image Detection — AIDE authors