先明确任务与验收条件
记录要运行的完整模型版本、输入长度、输出长度、同时在线用户数，以及可接受的延迟。离线批处理与实时聊天需要不同的资源安排。
如果只是搭建调用外部 API 的网站，网站服务器主要承载应用、数据库和请求转发，并不因此必须购买 GPU。
显存估算只是一部分
模型权重之外，还要考虑运行时、缓存、并发请求和框架开销。量化可以改变资源需求，但需要验证质量和硬件兼容性，参考Hugging Face 量化说明。
不要用一个简单公式承诺某张卡能跑所有同参数规模模型。不同架构和任务设置可能带来明显差别。
CPU、网络和存储也要匹配
数据预处理、加载模型、检索和保存日志都可能成为瓶颈。多卡部署还要考虑卡间通信与整机电力、散热条件。厂商整机方案可参考NVIDIA DGX 平台，但采购应按具体工作负载核算。
先用小规模测试观察利用率，再决定扩容方向，避免所有问题都靠加 GPU 处理。
租用、自建与 API 怎么比较
把设备折旧、云租金、电力、带宽、存储和运维时间计入。低频或变化大的任务，可以先用 API 验证需求；稳定高负载再比较自建或长期租用。
官方 API 价格与Token 预算计算能辅助估算调用成本，不能替代完整的自建成本模型。
上线前做什么测试
使用真实长度的输入逐步提高并发，记录首段响应、总耗时、失败率和资源峰值。测试恢复、备份和版本回退。对外部接口可使用API 测速，自建环境还应结合服务端监控，不能把客户端一次成功当成容量证明。