去年我们公司选AI模型，看了一圈排行榜，选了个分数最高的。结果拿到客服场景里一测，答什么都是"根据相关规定"，连我们公司的退款政策都搞不清楚。

后来换了个排行榜上分数低一档的模型，自己测了一圈，效果反而好。

这事之后我就不看排行榜了。

为什么排行榜不靠谱？

你想嘛，排行榜考的是数学题、常识题、推理题。但你公司的业务是什么？是回答客户关于退款、退换货、发票的问题。这两个根本不是一回事。

一个模型在数学考试上考90分，不代表它能搞清楚你公司的售后政策。它可能连"7天无理由"是哪条法律都搞混了。

更坑的是，有些模型在排行榜上刷分特别高，但那是因为它训练数据里见过类似的题。你真拿自己业务里的问题去考它，它可能答得一塌糊涂。

那应该怎么选？自己搭个测试集。

方法其实不难。从你过去三个月的客服聊天记录里，挑出200个典型问题。高频的比如"怎么退款""发票怎么开"，边缘的比如"你们这个产品能不能寄到新疆"，都要有。

然后给每个问题准备标准答案或者评分标准。找两三个候选模型，让它们分别回答这200个问题。你自己打分：回答对不对、格式对不对、语气合不合适、有没有胡编乱造。

就这200个问题测下来，你比看十篇排行榜分析报告都清楚。

我们当时测了三个模型，最后选了个中间分数的。因为那个排行榜第一的模型，200道题里编了8个不存在的政策条款——这种模型你敢用在客服场景？客户问退款政策，它给你编一个，你赔得起吗？

所以别迷信排行榜。你的业务长什么样，只有你自己知道。花两天搭个测试集，比听任何AI专家吹牛逼都管用。