AI越火芯片越贵,小公司都用不起了
这两年AI火,芯片跟着水涨船高。我们做AI产品,光是租GPU一个月就花不少。说点真实感受。
为什么芯片这么贵?
训练大模型要顶级GPU,全球就那么几家能做。供不应求,价格就上去了。你有钱还不一定买得到,得排队。
我们这种小公司,根本买不起卡。只能租云服务。云服务的GPU也是按小时收费,你跑一天训练,大几千就没了。
小公司怎么活?
别自己训练大模型。你用现成的开源模型,做微调就行。微调对算力要求低多了,一张卡就能跑。
推理更是小场景用小模型。你一个客服问答,没必要跑个几百亿参数的。小模型够了,成本还低。
我见过很多小团队,一上来就要自己训练模型,烧钱烧到发不出工资。何必呢?别人训好的模型你拿来用,微调一下就行。
那芯片未来会怎样?
会越来越便宜。现在是需求爆发、供给跟不上。等产能上来了,竞争多了,价格会降下来。
而且现在大家都在做专用芯片——不做通用GPU,做专门跑推理的芯片。这种芯片成本低、能效高,适合大规模部署。以后推理场景会越来越便宜。
对小公司来说,这是好事。算力成本降了,做AI产品的门槛就低了。
我的建议。
别跟大厂拼训练。他们有钱烧,你没有。你用现成模型,做应用层。在应用上找差异化,比在底层拼算力聪明多了。
做产品不是做科研。你不需要自己训模型,你需要的是用模型解决用户问题。
说个更真实的算账。我们去年做AI客服,一开始用最大的模型,效果是好,但一个月调用费三万多。我们利润才多少?全给算力打工了。
后来换了小模型,效果稍微降了一点,但调用费降到三千。我们试了试用户反馈,大部分用户感觉不出来差别。那些感觉出来的,我们再给他们切大模型。
这样算下来,成本降了九成,用户体验几乎没影响。这就是小公司的生存方式——别追求最强,追求够用。
还有个事:推理跟训练不一样。训练是一次性大投入,推理是持续小开销。小公司你别想着训模型,你想怎么把推理成本压到最低。模型量化、蒸馏、缓存,这些技术都用上,成本能砍大半。
做AI产品,成本控制是生死线。你效果再好,钱赚不回来,就是死路一条。
芯片这个行业,短期是贵的。因为需求涨得太快,产能跟不上。但你放心,几年后会便宜下来。
历史上每次技术爆发都是这样。最早手机多贵?现在呢?最早云服务器多贵?现在呢?供给上来了,价格自然降。
小公司别焦虑算力。你现在用得起,以后会更用得起。你要担心的不是芯片贵,是你用芯片做出来的东西有没有人要。
技术是工具,不是产品。别盯着芯片看,盯着用户看。
嗯。

