【导语央视3·15晚会曝光一款名为GEO的软件可通过“AI投毒”影响AI大模型输出结果这种语料污染行为会动摇AI根基引发信任危机不过现有技术有反制手段还需构建全链条体系治理。】“AI投毒”扰乱大模型输出据央视3·15晚会报道GEO软件宣称能通过“AI投毒”“让AI听话”使客户产品在AI回答中排名靠前。其操作是持续大量投喂与客户相关的推广软文让AI平台刷录、输入和抓取。由于AI大模型基于机器学习这种定向投喂会直接影响模型输出结果。语料污染动摇AI根基国研新经济研究院创始院长朱克力表示此类定向语料污染行为会从底层动摇AI大模型的可信度根基。AI大模型核心竞争力在于基于海量真实、多元语料学习推理回答的客观性、准确性是立足之本。而语料污染会让模型信息库混入大量虚假、低质、同质化商业信息打破语料真实平衡使模型输出带有明显商业偏向的非客观内容。这种伤害还会随着信息反复输入传导累积透支用户对AI的信任。若语料污染形成规模会引发行业不良跟风导致不同平台的AI模型均出现回答失真问题让整个AI大模型产业陷入可信度危机。现有技术反制污染手段朱克力指出现有技术体系具备反制手段。可优化AI大模型的语料筛选与权重计算算法建立多维度语料价值评估体系从内容真实性、原创性、信息密度、传播场景等多维度对语料动态评分对批量出现的同质化、低价值、强商业属性软文内容降权甚至剔除从源头减少虚假语料干扰。还可引入实时的语料溯源与异常监测技术对短时间内集中出现的、带有相同关键词与商业信息的内容进行溯源追踪识别发布主体与传播路径对异常发布行为实时预警。此外强化AI模型的推理校验能力让模型在生成回答时对核心信息进行多源交叉验证避免单一信息源定向误导。治理需构建全链条体系工信部信息通信经济专家委员会委员盘和林认为仅靠技术反制不够要治理整个中文互联网的信息真实性问题。根本解决之道在于治理互联网信息环境建立权威信息发布渠道。朱克力建议构建“源头筛查—过程监测—结果校验—闭环治理”的全链条体系让防御机制与违规行为的技术迭代同频从根本上遏制语料污染行为守护AI大模型的内容真实性与可信度。编辑观点AI大模型语料污染问题危害巨大不仅影响模型可信度还可能引发产业危机。现有技术虽有反制手段但需结合互联网信息环境治理构建全链条体系才能有效守护AI大模型的健康发展。
AI大模型遭遇“语料投毒”,全链条防御迫在眉睫
【导语央视3·15晚会曝光一款名为GEO的软件可通过“AI投毒”影响AI大模型输出结果这种语料污染行为会动摇AI根基引发信任危机不过现有技术有反制手段还需构建全链条体系治理。】“AI投毒”扰乱大模型输出据央视3·15晚会报道GEO软件宣称能通过“AI投毒”“让AI听话”使客户产品在AI回答中排名靠前。其操作是持续大量投喂与客户相关的推广软文让AI平台刷录、输入和抓取。由于AI大模型基于机器学习这种定向投喂会直接影响模型输出结果。语料污染动摇AI根基国研新经济研究院创始院长朱克力表示此类定向语料污染行为会从底层动摇AI大模型的可信度根基。AI大模型核心竞争力在于基于海量真实、多元语料学习推理回答的客观性、准确性是立足之本。而语料污染会让模型信息库混入大量虚假、低质、同质化商业信息打破语料真实平衡使模型输出带有明显商业偏向的非客观内容。这种伤害还会随着信息反复输入传导累积透支用户对AI的信任。若语料污染形成规模会引发行业不良跟风导致不同平台的AI模型均出现回答失真问题让整个AI大模型产业陷入可信度危机。现有技术反制污染手段朱克力指出现有技术体系具备反制手段。可优化AI大模型的语料筛选与权重计算算法建立多维度语料价值评估体系从内容真实性、原创性、信息密度、传播场景等多维度对语料动态评分对批量出现的同质化、低价值、强商业属性软文内容降权甚至剔除从源头减少虚假语料干扰。还可引入实时的语料溯源与异常监测技术对短时间内集中出现的、带有相同关键词与商业信息的内容进行溯源追踪识别发布主体与传播路径对异常发布行为实时预警。此外强化AI模型的推理校验能力让模型在生成回答时对核心信息进行多源交叉验证避免单一信息源定向误导。治理需构建全链条体系工信部信息通信经济专家委员会委员盘和林认为仅靠技术反制不够要治理整个中文互联网的信息真实性问题。根本解决之道在于治理互联网信息环境建立权威信息发布渠道。朱克力建议构建“源头筛查—过程监测—结果校验—闭环治理”的全链条体系让防御机制与违规行为的技术迭代同频从根本上遏制语料污染行为守护AI大模型的内容真实性与可信度。编辑观点AI大模型语料污染问题危害巨大不仅影响模型可信度还可能引发产业危机。现有技术虽有反制手段但需结合互联网信息环境治理构建全链条体系才能有效守护AI大模型的健康发展。