AI一本正经编了个不存在的法条,我差点信了
用AI久了你就会发现一个事:它说错话的时候,特别像那么回事。不是那种明显瞎编的,是那种语气笃定、逻辑通顺、你不仔细查就信了的。
行话叫"幻觉"——它不是故意骗你,它是真觉得自己说的对。
说个真事。
有次我问AI一个法律问题。它给我引了个法条,说根据某某法第几条,是什么什么规定。我一看,挺像那么回事。
后来我去查,根本没这个法条。它编的。名字像真的、条文像真的、连"立法背景"都给你编出来了。
你说它坏吧?它不是。它就是根据训练数据里"大概应该有这么个东西",拼了一个出来。它不知道这个东西不存在。
为什么会这样?
大模型本质上是在猜下一个字。它不是在查事实,是在根据语言习惯生成"最像那么回事"的话。
所以它生成的东西,读起来很顺。但顺不等于真。
你问它一个它知道的问题,它答得准。你问它一个它不知道的,它不会说"我不知道",它会编一个给你。因为它的任务是生成回答,不是判断自己知不知道。
那怎么防?
第一,重要的事必须自己查。AI说的数据、法条、引用,你都得去核。别它说什么就是什么。
第二,让它区分"确定"和"猜测"。你可以问它:这个你确定吗?它会告诉你哪些是它有把握的,哪些是它猜的。
第三,别让它替你下结论。它帮你整理信息可以,但判断和决定你自己做。
用AI就像用一个特别会说但记性不太好的助手。它说的你听着,但重要的你得自己核实。
说个更真实的经历。有次我让AI写一份行业报告,它写得特别漂亮,数据、案例、趋势分析全有。我差点直接用了。
后来我随手查了一个它引用的"研究报告",发现根本没有。再查一个,也没有。一份报告里十几个引用,一半是编的。
你说它是故意的吗?不是。它就是觉得"这种报告里应该有这么个引用",就给你拼了一个。它写得特别自信,因为它生成的时候不觉得自己在编。
从那以后我定了个规矩:AI给的任何数字、引用、案例,我都去原始来源查一遍。查不到的,删掉。
这样慢是慢,但我发出去的东西我敢负责。不然哪天被读者抓出来一个假引用,那信誉就没了。
用AI最大的风险不是它不会,是它不会的时候不告诉你。它永远一本正经。
用AI久了,你会形成一种直觉。
它说顺的地方,你反而要多查一眼。真的。
真的。
别全信。
听我的。
多查一眼。
真的。
就这样吧。
嗯。
。
。

