选大模型的时候，我天天看跑分榜。哪个模型分数高就用哪个，觉得分数高就是好。用了半年说点结果。

跑分榜是什么？

就是一堆测试题，各个模型去答题，看谁分高。什么推理题、写作题、代码题，综合打分。分高的就排前面。

我一开始特别信这个榜。新模型出来了先看榜，排前三的我才试。

真用起来发现不对。

有个模型跑分特别高，推理能力满分。我拿它做我们的客服场景，结果回答得一塌糊涂。为什么？因为它推理题答得好，不代表它在我们这个场景里答得好。

我们的客服问题不是数学题，是用户问"这个怎么退款""那个怎么用"。这种问题不需要推理，需要理解业务规则。跑分榜不考这个。

还有个模型写作分特别高。我让它写我们产品的介绍，写出来特别华丽，但就是不像我们说的话。因为它没见过我们产品，它写的是通用模板。

那跑分榜到底有什么用？

它能帮你粗筛。分数太低的模型，直接不用看了。分数高的，你再拿自己的业务场景去试。

但它不能帮你做最终决定。最终决定得看你自己的场景——你拿你真实的用户问题去测，看哪个模型答得最好。

我们现在选模型的方法是：从跑分榜里挑几个高分的，然后拿我们一百个真实用户问题去测。看哪个模型准确率最高、回答最贴合我们业务。最后选出来的，不一定是跑分榜第一的，但一定是我们场景里最好用的。

别迷信跑分。

跑分是标准化测试，你的业务是非标场景。考试考得好，不代表干活干得好。

选模型跟招人一样——学历高不等于干活行。你得让他实际干一下，才知道行不行。

说个更真实的经历。我们一开始用了个跑分榜第一的模型，因为觉得它最聪明。用了三个月，发现它有个问题——它回答太长了。用户问个简单问题，它给你写五百字。用户根本不看。

后来我们换了个跑分榜没那么高的模型，但它回答简短直接。用户反馈反而更好。

为什么？因为我们的场景不需要长篇大论，需要的是简洁准确。跑分榜考的是你能不能答好题，不考你答得简不简洁。

这就是跑分榜的盲区：它考通用能力，不考场景适配。你场景要什么，它不知道。你得自己测。

还有个事：跑分榜测的是单次回答。但真实用户是多轮对话——他问一句，AI答一句，用户再追问。这个多轮对话能力，跑分榜也不怎么考。你模型单轮答题满分，多轮聊两句就忘了前面说的，那也白搭。

所以选模型，别光看榜。拿你自己的真实场景测，测完了再决定。榜是参考，不是答案。

选模型跟选工具一样，合适比强大重要。

这话真没错。

别光看榜。

自己测。

靠谱。

真。