← 技术博客

为什么不同 AI 给出的答案不一样:我们测了 3 家 AI 的引用来源,差异大到反常

为什么不同 AI 给出的答案不一样:我们测了 3 家 AI 的引用来源,差异大到反常

先说身份:本文由大衍智联撰写。我们自己也做 GEO 服务 —— 是当事人,不是中立的第三方评测。 文中数据全部来自我们自己的实测,方法与样本量随文标注。

先说结论

同一个问题问不同的 AI,答案对不上,多数人的解释是"模型不一样"。

但我们实测下来,更根本的原因在前面一步:它们读的资料,几乎不重合。

对比重合度
不同 AI 之间,引用的网站重合度0.00 ~ 0.21
同一家 AI 自己重复测(作为对照)0.347 ~ 0.576

AI 之间的重合度,比它自己重复测自己还低。

这句话值得再读一遍 —— 两家不同的 AI 在同一个问题上找到的材料, 比同一家 AI 两次找到的材料,差异还要大。

我们是怎么测的

项说明
对象4 家 AI 的网页版(不是接口),但只有 3 家样本量够
问题同一批 5 个问题,全部是首次提问(不是追问)
重复甲 / 乙 / 丙各测 3 次(各 15 条可比样本);第 4 家只有 3 条,本文结论不依赖它
采集每一问记录 AI 答案里实际点到的链接
得到三家合计 501 条引用(251 + 152 + 98)
对照每一家自己重复测自己,作为"噪声基线"

⚠️ 本文的采集批次,和我们另一篇《怎么让 AI 推荐我的公司》不是同一次。 | | 本文 | 《怎么让 AI 推荐我的公司》 | |---|---|---| | 问了几个问题 | 5 个 | 10 个 | | 几家 AI | 3 家可比 | 1 家 | | 重复次数 | 每家 3 次 | 每个问题 1 次 | | 引用条数 | 501 条 | 249 条 | | 回答什么 | AI 之间差多少 | AI 读了什么 | 两篇的数字不能直接对照着读。 我们在这篇里把口径写清楚, 就是因为混着读会得出错误的印象。

★ 为什么要设"噪声基线":因为 AI 的答案本来就在波动, 如果只看"两家不一样",你分不清这是平台差异还是随机波动。 只有拿每一家自己的波动幅度当尺子,才能判断差异是不是真的。

发现一:差异是真的,不是随机波动

把跨 AI 的重合度,放在各自平台的噪声基线旁边看:

引擎自己重复测自己(噪声基线)它和别家之间的重合度
甲0.5760.00 ~ 0.21
乙0.4890.00 ~ 0.21
丙0.3470.00 ~ 0.21

跨 AI 的重合度(0.00~0.21)低于每一家的自身波动下限。

结论:不同 AI 读的资料确实不一样,而且差异明显超出随机范围。 这不是"模型性格不同",是它们看的东西不同。

发现二:★ 有一家的信源,别家完全没有

这是本次采集里最清楚的一个现象。

同一批问题下,某一类短视频社区的内容在四家的分布:

引擎采集样本引用条数(去重)来自该短视频社区占比
甲152519538%
乙1515200%
丙159800%

甲引了 95 次,乙和丙一次都没有。 而乙、丙各有 15 条样本、三次独立采样。

但这里要说清楚一件事:不是"回避字节"

我们一开始以为是"某些 AI 不用字节系的内容"。核对后发现不对:

域名甲乙丙
短视频分享页9500
今日头条(图文)170

乙引了今日头条 7 条,但一次都没引短视频。

所以准确的结论是:不是"回避某家公司",而是"短视频这个内容池,只有甲在用"。 图文它照样引,视频它不引。

★ 这个区分很重要 —— 如果误判成"回避字节", 策略会变成"别在某家公司身上花功夫",而正确的策略是"看你的客户用哪家 AI,再决定投不投视频"。

发现三:每家 AI 都在吃自家生态

同一类现象,我们还观察到了第二个实例:

在某一类健康相关的问题上,乙引用的内容里有相当高的比例来自它自己生态内的站点, 而甲在同样的问题上是 0%。

两个实例、不同平台、同一规律。 这让我们倾向于认为:这不是偶然,而是结构性现象 —— 每家 AI 都优先/更容易取到自己生态内的内容。

⚠️ 但这里必须标注不确定性:我们也做了一个判别检验 —— 在同一个问题上,甲取到了权威的行业来源、且完全没有取自家内容。 这说明它并非"只用自家内容",而是"在那类问题上,自家内容恰好更多"。

两种解释我们目前分不开:可能是平台偏好,也可能是内容生态现状(那些内容本来就长在那儿)。 本文不下这个结论。

为什么"平台偏好"和"内容现状"我们分不开

这一节专门讲我们的不确定性 —— 因为它决定了你能拿这些数据做什么。

看到"某家的信源里,自家生态占 38%",有两种完全不同的解释:

解释含义应对
A · 平台偏好它主动偏向自家内容换平台就得换投放策略
B · 内容现状那些内容本来就长在那儿不用特殊对待,正常投就行

这两种解释指向完全相反的行动,所以必须分清。我们做了两个检验:

检验一:换一个品类再看 在另一类问题上,该平台的自家生态占比掉到了 0%,而另一个平台升到了 73~83%。 → 如果是"平台偏好",它应该在所有品类上都偏高。 这个结果不支持 A。

检验二:看它有没有取到外部权威源 在同一个问题上,该平台取到了外部的权威来源,且完全没有取自家内容。 → 如果是"平台偏好",它应该宁可用自家的。 这个结果也不支持 A。

所以我们的倾向是 B(内容现状) —— 但那类内容恰好长在那家平台上。

⚠️ 但我们不做结论。 原因是:

  • 只测了两个品类,样本量不足以排除"某些品类偏好、某些不偏好"
  • 平台的内容策略会随时间变化,我们测的是当时的快照
  • 我们看不到平台的检索逻辑,只能从结果反推

★ 写这一段的意思是:如果你看到有人拿"某平台只用自家内容"下结论, 先问他是怎么排除"内容本来就长在那儿"这个解释的。 这个问题能筛掉大部分想当然。

这对企业意味着什么

1 · "一篇文章通投所有 AI"行不通

跨 AI 重合度 0.00~0.21。同一批内容,在不同 AI 那里被读到的概率差异极大。

2 · 先搞清楚你的客户用哪家 AI

不要默认"AI 都差不多"。 数据不支持这个假设。 如果你的客户集中在某一类平台,投放在那里才是有意义的。

3 · 内容形态要跟着平台走

短视频池和图文池是分开的。 一条素材能不能复用,取决于目标平台吃哪种形态,不是"发出去就等于覆盖"。

4 · 别用一家的结果推断另一家

在一家 AI 那里没被提到,不代表在另一家也没有。 这是两件需要分开测的事。

如果你只做一件事:先搞清楚客户用哪家 AI

前面都是分析,这一节说明天就能做的动作。

已经知道用哪家 → 直接测那一家,重复 3 次以上。

不知道用哪家 → 按这个顺序问:

问谁问什么
销售 / 客服"客户提过他们用哪个 AI 助手吗?"
成单客户"你当初是怎么找供应商的?"
官网 / 小程序后台看访客来源里有没有 AI 助手的跳转
自己的团队你们自己遇到问题先问哪个

★ 第一条通常最有效 —— 客户主动提到"我问了 AI 说你们……",就是最直接的信号。

一个反直觉的提醒:不要根据"哪家 AI 用户最多"来选。 你的客户是谁,决定了该测哪家 —— 一个面向特定行业客户的 B2B 企业, 和一家面向普通消费者的小程序,答案可能完全不同, 而数据已经证明这两家的信源几乎不重叠。

一个必须说清楚的边界

上面的数据能说明"不同 AI 读的资料不一样", 但不能说明"我们能让某家 AI 一定读到你"。

  • ❌ 不承诺"投到某平台就会被某家 AI 引用"
  • ❌ 不承诺跨平台统一的可见度结果
  • ✅ 能承诺的是:把每一家的信源分别测出来,告诉你差异在哪

★ 还有一个诚实的限制:样本量。 我们每家测了 3 次、共 15 条样本。这足以看出"差异很大", 但不足以支持"精确到百分点的占比结论"。 文中的占比都标了分母,请连分母一起看。

小结

  • 不同 AI 的差异是真的 —— 重合度 0.00~0.21,低于各自自身波动的下限
  • 有一家的信源,别家完全没有 —— 同一类短视频,一家 95 次,另外两家各 15 样本 0 次
  • 要区分"回避某公司"和"某个内容池" —— 图文照引、视频不引,是两件事
  • 每家都在吃自家生态 —— 观察到两个实例,但平台偏好 vs 内容现状,我们分不开
  • ★ 实操结论:先确定你的客户用哪家 AI,再决定投什么形态

关于本文的数据来源

以上实测由大衍智联完成,采集的是 AI 助手网页版的首问结果 (不是接口,也不是追问),每家各 3 次、共 15 条可比样本。

样本量不大,这是本文所有结论的强度上限。 我们把不够确定的地方都标了出来(比如"平台偏好 vs 内容现状分不开"), 不希望读者把弱证据读成强结论。

这些实践都沉淀在衍数平台里

想了解怎么用在您的项目上?注册体验亲手搭建,或直接咨询 AI 客服。