← 返回洞察

CATLAXY 洞察

AI知识资产防御三关

跨行业

你的AI在被投毒:知识库是最贵的漏洞

场景还原

企业AI知识库遭GEO黑产定向投毒,竞对通过RAG检索劫持让AI推荐结果偏向竞品,而企业浑然不知,等察觉时已漂移数月

CATLAXY 方法

这周315曝光了一个具体的产业——GEO(生成式引擎优化)黑产,专做AI投毒。手法有三种:训练数据污染、RAG检索劫持、提示词注入。其中一家服务商,已有200多家企业客户了。就是说,这不是概念风险,是正在运转的产业。

对企业来说,难的不是技术层——是大多数人压根不知道自己的AI在读什么数据。外部公开数据源是自动更新的,没人在审;AI给出检索结论,但没有溯源记录;系统在缓慢漂移,察觉到的时候可能已经影响了好几个月。攻击有效不是因为AI太脆弱,是因为这套系统从设计上就是不透明的——是治理架构问题,不是技术问题。

这里有个结构性的判断。数据是AI的燃料,但燃料来源不可信,整套系统的产出都是有问题的。可管理优先于可炫技——一个连"AI为什么这样说"都答不上来的知识库,出了问题连定位都做不到,更别谈防御了。行业know-how是护城河,这话的另一面是:你自己的一手业务数据,攻击者无法批量伪造——那才是真正的防线。从行业一手来源构建知识库的企业,对GEO投毒天然免疫,因为伪造内容根本混不进去。防线不是技术,是知识来源的一手性。

从这个逻辑出发,AI知识资产防御三关可以参考。第一关,来源锁定:知识库只接受可验证的一手来源——自有文档、合同记录、第一手运营数据。不要求立刻清空存量,从锁定新增来源开始,公开抓取内容未经审核一律不再进。第二关,溯源可查:每次AI检索必须记录引用来源,发现异常时能快速定位和隔离,而不是整个模型回滚。第三关,定期抽查:设定检索内容质量的抽查节奏,对异常推荐做归因分析,得有人在负责。这三关不要同时建——先过第一关:搞清楚自己的知识库里,有多少是来自一手可信来源的。

用公开数据做RAG的企业,现在已经暴露在这个风险里了。应对不是关掉AI,是把知识库维护从IT运维升级为业务责任——谁的业务,谁的数据,谁在负责知识质量。这是护城河,不是合规作业。

STEP 1

来源锁定:只接受可验证的一手来源(自有文档、合同记录、第一手运营数据),从锁定新增来源开始,公开抓取内容未审核不进

STEP 2

溯源可查:每次AI检索记录引用来源,发现异常时能快速定位和隔离,而不是整个模型回滚

STEP 3

定期抽查:设定检索内容质量的抽查节奏,对异常推荐做归因分析,要有人在负责

CATLAXY 观点

用公开数据做RAG的企业,现在已经暴露在GEO投毒风险里了。应对不是关掉AI,是把知识库维护从IT运维升级为业务责任——谁的业务,谁的数据,谁在负责知识质量。这是护城河,不是合规作业。先锁来源,再建溯源,最后建抽查机制,三步按顺序来。