📰 “龙虾”挥钳,算力吃紧_数字快讯_数字中国建设峰会

报道聚焦“龙虾”式智能体对算力的高消耗与迅速增长的调用量。相比传统聊天机器人,智能体在完成稍复杂任务时需要消耗的Token显著增多,甚至可能达到普通对话的百倍、千倍,实际使用成本也因此飙升,若放开用于生产,月花费可达数千元。数据表明,全球大模型调用量在一周内暴增,3月全球Token调用量达20.4万亿,中国的增速更快,连续多周领先美国。行业分析认为算力缺口将成为制约因素,若响应迟滞将严重影响用户体验。专家建议当前应以提升Token利用效率为重点,建立高效、标准化的“Token工厂”,提升单位Token的转化效率,使顶尖模型能力更高效地服务海量场景,并推进自我调度、智能化基础设施的发展,未来还需通过架构创新与算力协同实现更低推理成本与更高算力效率。总之,在智能体时代,算力与架构的协同优化将决定竞争格局的走向。

🏷️ #算力 #Token #智能体 #架构创新 #效率

🔗 原文链接
 
 
Back to Top