如何在不缩减团队规模的情况下降低 AI Tokens预算

图片来自 凯特·萨德
黄仁森 有一个测试用来判断工程师是否值得留用——并且附带一个Tokens预算。谈到…… 全力以赴播客 在 GTC 2026 闭幕之际,英伟达首席执行官表示,如果一位年薪 50 万美元的工程师每年的 AI Tokens消耗量不到其年薪的一半, “我感到非常担忧。” 他证实,英伟达正在努力实现…… 每年20亿美元的Tokens法案 因为它的工程力量。
他描述的是一种大多数公司早已悄然进行的权衡:曾经用于支付员工工资的资金越来越多地用于购买Tokens。四大超大规模数据中心运营商已经 引导 大致 2026年总资本支出达7000亿美元 ——几乎是去年的两倍——来自职业介绍公司 Challenger, Gray & Christmas 的数据显示。 演出 人工智能是美国裁员最常被提及的原因 连续第四个月创纪录。
一份通过 Meta 获得的内部备忘录 路透社 描述了梅的削减 8000个角色 抵消了公司的大量投资——而本季度收入却增长了 33%像这样的公司裁员并非是为了生存而采取的措施。 他们正在进行融资。
📊 当削减措施无法带来回报时
问题在于,融资并没有带来预期的效果。Gartner 的调查显示 350名高管 在年收入超过10亿美元的公司中——所有这些公司都在部署人工智能代理或自动化系统——发现大约 80% 的公司都裁员了,但与收益改善无关分析师海伦·波伊特文的评价直言不讳:
“裁员或许能腾出预算空间,但并不能带来收益。”
Uber 以惨痛的代价吸取了这一教训,并为此付出了高昂的代价。 5000名工程师 12 月份的 AI 编码工具和 到四月份,其2026年人工智能预算将全部用完。首席运营官安德鲁·麦克唐纳承认,尽管已提交的代码中有 70% 是人工智能生成的,但这与客户能注意到的任何事情都缺乏联系:
“目前还没有建立起这个联系。”
把这两个失败案例放在一起比较,真正的问题就显而易见了。 公司将象征性账单视为固定不变,而将劳动力视为灵活可变——但事实恰恰相反。 裁员只发生一次,而且会带走机构的宝贵经验。事实证明,只要有人用心设计,象征性的预算就能在很多方面进行调整。
🔗 Tokens预算的转弯处
最便宜的解决方法也是最不吸引人的: 停止为重复处理同一文本付费即时缓存(现在已成为主流 API 提供商的标准配置)可将重复输入的成本降低高达 90% under Anthropic's and OpenAI's published pricing, because static content like system instructions and reference documents gets processed once and reread at a fraction of the rate.
✅ 案例研究:ProjectDiscovery
安全公司 ProjectDiscovery 记录了其缓存命中率的提升情况。 7%至84% 通过重组措施——削减其LLM总支出 59%至70% 服务期间 98亿枚Tokens 从缓存中。这项工程举措节省的预算比大多数因人工智能而进行的裁员节省的预算还要多。
下一个杠杆是 将路由工作调整到合适尺寸的模型供应商自己的价格表显示,旗舰机型的价格为 每个Tokens相当于其较小兄弟姐妹的五倍然而,许多生产工作负载默认会将例行分类和汇总任务发送到最昂贵的层级。批量处理还会进一步增加成本。 五折优惠 适用于任何不需要实时解答的问题。
检索增强生成从另一个角度解决问题——它只向模型发送知识库的相关部分,而不是整个知识库。即时压缩可以去除冗余示例,从而减少每次调用的开销。开放权重模型进一步降低了成本,对于愿意管理基础设施的团队来说,处理常规工作负载的成本仅为前沿 API 价格的一小部分。
💡 这些措施只不过是人工智能领域的等效措施而已 关掉空房间里的灯Uber的 每位工程师每月最高收费 1500 美元。 ——这项在四月份预算超支后实施的措施——初步表明,支出纪律最终会到来。那些抢占先机的公司只是在预算强制执行之前就主动选择了这样做。
👥 解决问题的另一半在于人性
只有当节省下来的资金用于生产性用途时,优化Tokens账单才有意义——而最有力的证据表明,这些资金最终会用于造福于人。波特文的研究发现,那些提高了投资回报率的组织正是那些…… 利用人工智能来增强员工队伍,而不是取代员工。。
Klarna代表所有人进行了这项对照实验,大约替换了 700个客户服务岗位 在客户满意度下降之前,他们推出了一款基于 OpenAI 的助手。首席执行官 Sebastian Siemiatkowski 表示 彭博社 很少有高管会公开承认:
“结果导致产品质量下降,这是不可持续的。”
这家金融科技公司现在运营着一家 混合模型人工智能将处理日常繁琐的工作,而重新聘用的人员则负责所有需要判断的工作。Gartner 预计这种模式将会蔓延,并预测到 到2027年,因人工智能而裁减客服人员的公司中,有一半将会重新雇用他们。。
⚠ 关于青少年人才的警告
斯坦福大学以人为本人工智能研究所 成立 面向年长软件开发人员的就业机会 22至25岁人群下跌近20% 从2024年起,即使老一代员工人数不断增长,企业仍然会取消他们的培训基地。 五年后,他们需要高级工程师来指导所有这些系统。。
一家刚刚完成工程的公司 Tokens账单六折优惠 有足够的预算空间继续招聘基层员工。 是否这样做是领导层的决定,而不是财务方面的决定。
🎯 底线
英伟达黄仁勋的挑衅言论将在财报电话会议上持续发酵,资本支出数字也将继续攀升。最终胜出的公司,不会是那些在Tokens上投入最多资金或为了支付Tokens费用而裁员最多的公司。
他们会注意到Tokens预算一直以来都是一条灵活的线——通过工程技术而不是人员编制来压缩预算——并将剩余的预算花在那些让Tokens真正有价值的人身上。











