AI一本正经胡说八道,我被坑了三次才长记性
大模型有个毛病叫"幻觉"——就是它会一本正经地编东西。你问它一个问题,它不知道答案,但它不会说不知道,它会给你编一个看起来特别像真的答案。
我被这个坑了三次,说点经历。
第一次:
我让AI帮我查一个法律条款。它给我引了一条法规,说根据某某法第几条。我觉得特别靠谱,就用了。后来被一个律师朋友看到,说这条法规根本不存在,是AI编的。
我当时一身冷汗。如果我真拿这个去跟客户说,那就出大事了。
第二次:
我让AI帮我写个产品分析,引用一些行业数据。它给我列了几个数据来源,说根据某某报告。我去查了一下,那个报告根本没发布过。它编的。
第三次:
我让AI帮我查一个API文档。它给我写了个接口参数,我照着开发。结果上线报错,说参数不对。我去看官方文档,发现AI写的参数名跟官方的不一样。它自己编了个参数名。
为什么AI会这样?
因为大模型不是搜索引擎。它不是去数据库里查答案给你。它是根据概率预测"下一个字应该是什么"。它生成的是"看起来合理"的文字,不是"真实准确"的文字。
它不知道自己不知道。它觉得它说的就是对的。
那怎么应对?
我的原则是:AI给的任何事实性信息,我都要核实。
它说的法规,我去查原文。它说的数据,我去找原始报告。它写的代码,我去看官方文档。
不能它说什么我就信什么。它是个助手,不是权威来源。
还有个办法:你让AI回答的时候,告诉它"如果你不确定就说不知道"。这样它会谨慎一点。但也不是百分百靠谱,它还是会编。
用AI这个事,你得保持怀疑。它说的每一句话,你都要问一句:这是真的吗?
别被它一本正经的样子骗了。它越自信,你越要小心。
说个更绝的。有次我让AI帮我写一个技术方案,它引用了一篇论文。说这篇论文证明了这个方法有效。我觉得特别专业。
后来我去搜这篇论文,发现根本搜不到。再换关键词搜,还是没有。最后我发现这篇论文是AI编的——连论文标题、作者、期刊都是它编的。
你说这有多离谱?它不光编内容,它连引用来源都给你编一套。你要是不核实,就真信了。
这就是大模型最可怕的地方:它不是简单地说错,它是给你一个完整的、看起来很专业的错误答案。你越不懂,越容易被骗。因为你看不出它哪里错了。
后来我学乖了。用AI写东西,里面所有的事实、数据、引用,我全部自己查证一遍。不查证的我不发、不用。
有人说那你用AI干嘛?我说:AI帮我搭框架、想思路、出初稿。但内容的真实性,我自己负责。它帮我省时间,但不帮我担责任。
用AI的人,必须有这个意识。你是最终责任人,不是AI。

