> 系列五 · 第 4 篇。前几篇聊了怎么批量生成内容,这篇算账——批量跑起来之后,钱到底烧在哪。
又是月底。打开 API 后台一看,账单比预估高了快一倍,往下翻消费明细,元凶是某个凌晨跑挂的批量任务:模型连续吐了四十多分钟废稿,重试没设上限,我在睡觉,它在烧钱。
那天我被坑惨了,但也把成本这件事彻底想明白了。下面是账。
一次工具页生成,实测约 1 万 token 输出。输入那边是模板加关键词,撑死两千 token,而且是重复的。
问题来了:为什么账单爆炸的速度远超预期?因为各家定价里,输出 token 单价通常是输入的好几倍。说人话就是——你每生成一页,最贵的部分恰恰是你最想要的那部分。
批量场景下这个结构会被放大。100 个页面 = 100 万输出 token,跑一轮旗舰模型的价格,够买好几斤咖啡豆了。
所以预算要按“输出 token 数 × 单价 × 页面数”来算,别拿输入端那点钱安慰自己。
思考模型(reasoning model)出答案前会先“想一段”,这段思考过程照样计费。更阴的是,有些 API 连 reasoning token 的具体消耗都不完整返回给你,账单上只留一个总价。
这是批量流水线的硬伤。翻译一段 meta description 需要模型思考三分钟吗?不需要。但只要你选了思考模型,它每条都会认真想——用茅台洗脚,说的就是这种用法。
怎么判断该不该用?看任务的“智力密度”。写一篇深度文章,思考过程值回票价;跑一千条格式化任务,思考过程就是纯粹的浪费。
关不掉 reasoning 怎么办?换模型。别赌运气,别指望 prompt 里写一句“不要思考”就能省钱——该扣的 token 一个都不会少。
我的分工现在很明确:文章正文、核心页面这类重要任务,上 GLM-5.3 这种旗舰,质量优先,单价忍了。
批量翻译、标签生成、meta 描述这类模板活,丢给本地跑的 Qwen。免费。显卡是一次性投入,跑一晚上电费可以忽略不计,这就是普通人能摸到的“躺赚”。
中间再垫一层便宜 API 模型做缓冲,形成三级火箭。
还有个容易被忽略的设计:降级链路。旗舰模型挂了或限流,自动降级到便宜模型顶上,而不是整个流水线翻车停摆。批量任务最怕的不是质量下降一点,是凌晨三点全线停摆没人管。
等真翻车了你就懂了:降级输出哪怕糙一点,人工过一遍的成本,也远低于整批重跑。
先分清失败类型。格式错误可以重试,模型抽风吐了截断的 JSON 而已;内容不合格就别硬重试了,同样的话说三遍它还是听不懂,该换 prompt 或者换模型;限流就退避等待,硬冲只会更惨。
不管哪种,重试 3 次封顶。超过就标记进“待人工”清单,继续跑下一个。
为什么是 3 次?经验值。第 1 次可能是抽风,第 2 次可能是 prompt 边界问题,第 3 次还失败,基本说明这单任务本身有毛病,再试十次也是烧钱。
我那次半夜翻车就是没这条规则。现在每条任务都带计数器,到 3 就熔断,成本曲线从此变得无聊——无聊就是好事。
判断标准只有一条:这段内容会被看到多少次。
首页文案、核心文章、会被搜索引擎反复收录展示的页面——每一 token 的曝光次数是几百上千,旗舰模型的钱花得值。
一次性的中间产物——初稿、待人工修订的翻译稿、内部摘要——用完就扔,没人记得它,凭什么用最贵的模型?便宜模型加人工过一遍,总成本能砍掉一大半。
反过来也一样:贪便宜用了烂模型,返工的 token 是双倍,最后这个锅还得你自己接盘。
最后补一个批量流水线的小细节:给每个任务分配唯一 ID 做幂等键,跑挂了从断点续跑,不重复烧钱。手边没现成脚本的时候,我会直接开本站的 UUID 生成器 批量拉一打 ID 填进任务表,比临时写代码快多了。
Q1:全用免费额度或最便宜的模型,是不是就稳赚?
不。质量差导致返工,返工 token 是双倍成本,再搭上你的时间。而且把成本策略押在薅各家免费额度上属于突击套利,额度政策一变就全盘翻车。
Q2:prompt 缓存(context caching)能省多少?
批量场景必开。系统提示词命中缓存后,输入侧成本能砍掉一大半——反正模板都是重复的,不缓存等于每次重新交一遍入场费。
Q3:本地模型门槛是不是很高,没显卡玩不了?
量化后的 7B 级模型,普通游戏卡甚至 CPU 都能跑。批量文本任务对速度不敏感,晚上挂着跑,白天收货,够用了。
评论列表 (0条)