大模型自己部署还是直接调 API？这笔账怎么算

先这样答

这道题考的不是站队，是把成本结构摆清楚。API 的账很简单：按 token 付费，用多少花多少，没有固定投入，运维由厂商负责；代价是数据要出你的边界、模型行为没法深改、用量大时单价没有商量余地。自建的账相反：显卡和服务器是一次性大头，部署和运维是持续投入；换来的是数据不出门、模型随便换随便改，每 token 的边际成本随用量摊薄。

算法是找交点：拿月 token 用量乘 API 单价，对比显卡月成本加人力成本。量级感受：每天几百万 token 以下、用量波动大，API 几乎总是更便宜；到每天数十亿 token 量级且用量平稳，自建的单 token 成本才明显占优，前提是显卡利用率拉得上去，GPU 空转就是在烧钱。钱之外还有三个约束要过一遍：数据合规是否允许出域、延迟和稳定性要求多高、需要的模型有没有开源可用。

常见落地是混合：核心敏感业务自建，长尾和突发流量走 API，中间用网关统一鉴权和路由。面试时给出这个结构，比一句「看情况」有说服力：用量、波动、数据边界、定制需求，四个变量定了，答案基本就定了。

面试官会怎么追问

• 「自建最大的隐性成本是什么？」 利用率。显卡按天计费或一次买断，请求量却随昼夜波动，低谷期 GPU 空转照常花钱。很多自建方案最后总账不划算，不是卡贵，是利用率没做起来。
• 「混合方案怎么分工？」 按敏感度和流量平稳度切：合规要求高、调用量平稳的走自建；突发峰值、实验功能走 API 弹性承接；网关层做统一的鉴权、限流和故障切换。
• 「开源模型能力弱一截，自建还有意义吗？」 看场景。很多业务不需要最强的模型，需要的是稳定、可控、便宜，外加微调和私有知识整合的自由度。能力够用之后，可控性的权重就上来了，这正是自建的价值区间。

回答的坑

• 只算 token 单价不算利用率。自建的每 token 成本完全取决于 GPU 跑满程度，空置的卡比贵的 API 更烧钱，漏了这笔账结论会反过来。
• 把「数据安全」当万能理由。数据不出域只有在合规确实要求、且团队有能力做好部署安全时才成立，否则只是用更高的成本买一个用不上的属性。