第22章：量化部署与成本优化

1. 项目背景某中小企业AI团队用vLLM部署了Qwen2.5-7B-Instruct（FP16精度），单张A10 24GB正好够用。CTO决定将服务扩展到70B级别模型——但采购团队核算后发现：4张A100-80GB GPU的成本约60万元，加上服务器、网络、电费，年化成本超过100万元。对于一家B轮创业公司来说，这笔开支相当于整个研发团队两个月的工资。团队评估了替代方案：如果能把70B模型量化到INT4精度，模型权重从140GB压缩到35GB——单张A100-80GB就能装下，成本从60万骤降到15万。但CTO担心量化会损害模型回答质量，导致客户投诉增加、客服人力成本上升，反而得不偿失。与此同时，团队尝试了FP8量化（权重87.5GB，2张A100），在内部测试集上BLEU分数下降不到1%，但成本下降了50%。他们面临一个精细的决策：FP16高质量高成本、INT4低成本低质量、FP8折中——如何量化"质量损失"和"成本节约"的平衡点？痛点：量化是LLM部署中最有效的成本优化手段——从FP16到INT4，模型大小和显存需求缩小到1/4。但量化不是免费的午餐：AWQ量化需要校准数据集、GPTQ量化需要较长的量化时间、FP8需要H100等新硬件支持。不同量化方法在精度、吞吐、兼容性上差异显著，选择不当可能导致"省了GPU钱，亏了用户体验"。本章将对比FP16/FP8/INT4三种精度在同一个7B模型上的显存、吞吐和输出质量，建立量化部署的"成本-质量-性能"三角评估模型。2. 项目设计（场景：会议室。CTO把一张成本