做AI产品，模型跑起来只是第一步。你得保证它稳定——半夜不挂、用户访问不报错、成本不爆炸。我们做了三个月，被告警折腾得够呛，说点经历。

第一个坑：没做网关。

一开始我们直接调模型API，各个业务系统各调各的。后来发现：A业务调用量涨了，把API额度占满了，B业务就调不通了。你不知道谁在用、用了多少、花了多少钱。

后来加了API网关。所有请求先过网关，网关做路由、限流、计费。谁调了多少、花了多少钱、哪个业务占大头，一目了然。

第二个坑：没做监控。

你以为模型跑起来就完了？不行。你得盯着：延迟多少、错误率多少、调用量多少。这些不监控，出了问题你都不知道。

有次我们的模型服务半夜挂了，第二天早上才发现。这中间几个小时，用户访问全报错。因为没人盯着。

后来加了监控。错误率一高、延迟一长，立刻告警到手机。半夜被叫醒过好几次——服务挂了、超时了、额度用完了。

第三个坑：成本监控。

API调用是按token算钱的。你不盯着，哪天有人写了个死循环，不停调API，账单就炸了。

有次一个测试同事没关脚本，一晚上调了几万次API。第二天账单出来，多了好几千。因为没人设额度上限。

后来我们做了配额——每个业务每天最多调多少次，超了就停。这样不会因为一个bug烧掉一个月的预算。

做AI服务，技术只是开始。

模型好不好是一回事，稳不稳定、贵不贵是另一回事。你得有一整套运维体系——网关、监控、告警、配额、日志。这些做不好，你的模型再强也白搭。

别光顾着调模型，运维也得跟上。半夜被告警叫醒是常态，你得习惯。

说个更真实的经历。有次大促，用户量突然涨了五倍。我们的服务直接扛不住，排队、超时、报错。

为什么？因为我们一开始按平时流量配的服务器。平时够了，大促就不够了。你没法预测什么时候流量会暴涨。

后来我们做了弹性扩容——流量涨了自动加机器，流量降了自动缩。这样大促也不怕了，平时也不浪费钱。

还有个事：你得有降级方案。模型挂了怎么办？你得有个备选——先返回一个简单的回答，告诉用户系统忙，稍后再试。不能直接报错让用户看到。

我们一开始没做降级，模型一挂用户就看到错误页面。后来加了降级——主模型挂了切备用模型，备用模型也挂了返回默认回复。这样用户体验不会崩。

做AI服务这个事，你得假设它会挂。你不能假设它永远正常。有了应急预案，出了事才不会慌。

做技术久了你就知道：系统一定会出问题。区别只是你提前准备了，还是临时救火。

运维这关，躲不过去。

真的。

嗯。