📰 科技资讯

关注科技领域的最新动态

🔬 科技新闻 📎 转载

环球问策|中科曙光石静:存算协同重构AI推理效率

摘要:【环球网科技报道 记者 李文瑶】8月28日,2026中国国际大数据产业博览会开幕。大会期间,中科曙光发布新一代词元加速方案——基于存算协同理念的ParaCache高效管理方案。实测显示:基于该方案,模型单轮对话首词元时延(TTFT)最高降低98.5%,高并发场景词元吞吐量最大提升27倍。“大模型推理每生成一个新字,模型要重复计算所有历史内容的键(Key)和值(Value)向量。处理16K长度的序列…
📎 内容来源说明
本文来源于环球网,科技人仅作信息索引与摘要转载,版权归原作者及原出处所有。 查看原文请访问:环球网官网 →