数字经济浪潮奔涌，数据已成为国家基础性战略资源，其规模和质量决定着人工智能发展的高度。当前，AI大模型正在快速进入各行各业，我们已经来到Token经济时代。Token消耗指数级增长，我国日均Token消耗量已经突破30万亿，单个头部企业日均消耗在百亿级。传统推理架构因数据重复计算，长序列输入等问题，导致GPU利用率降低，造成大模型推理成本持续攀升，用户体验下降。为应对这些挑战，产业界正在积极探索技术方案，其中先进AI存储技术的出现为我们带来了新的解决思路。
11月4日，由中国信息通信研究院组织召开的“存力中国行暨先进存力AI推理工作研讨会”在北京顺利召开。本次会议深入探讨了AI时代下先进存力赋能AI大模型发展的支撑作用。
中国信息通信研究院首席专家石友康出席研讨会并致辞，中国信息通信研究院云大所总工程师郭亮主持。中国移动云能力中心项目总师周宇，华为数据存储产品线战略与业务发展部总裁王旭东，北京硅基流动科技有限公司解决方案总监唐安波发表主题演讲。
研讨会上，中国信息通信研究院首席专家石友康深刻阐述了当前AI规模化应用推进，推理环节的成本、效率、质量问题凸显，先进存力成为提升AI推理效能、控制成本的关键。当前，国家高度重视先进存力发展，在《算力基础设施高质量发展行动计划》等政策中明确提出“加速存力技术研发应用”、“持续提升存储产业能力”、“推动存算网协同发展”，为产业发展指明了方向。中国信息通信研究院在政策研究、标准制定、测试服务等方面开展多项工作，并联合产业链企业成立“算力产业发展方阵先进存力AI推理工作组”，同时提出了三点建议：鼓励前沿存储技术研发创新，推动存算运深度融合，加强存算协同产业生态建设，呼吁业界同仁凝聚共识，共同推动我国存算协同发展。
周宇分享了面向推理的存储技术趋势与实践，围绕推理挑战、存储破局及趋势判断展开。当前推理面临KV Cache存储需求升级、多模态数据协同、存算协同带宽不足、负载潮汐性及成本控制等挑战。移动云针对性采用分层缓存调度、高速数据互联技术提升带宽、多模数据专属存储与标准化、架构池化重组等技术破局，还通过高密全闪存储、数据缩减、自研SPU高密服务器提高存储效能和降低成本。未来趋势上，移动云推动存储从被动存储转向智算协同，分阶段落地高密全闪存储、数据高速互联、存算一体等技术，长远构建池化多体存储体系，同时强调技术整合与生态协同。
王旭东介绍了AI时代，IT基础设施能力面临三大挑战：“管不好”的数据、“喂不饱”的算力、“降不下”的成本。推理数据来源多样难以形成高质量、可持续供应的数据集，存储系统的带宽和IOPS（每秒读写次数）不足，导致GPU等昂贵算力资源长时间空闲。传统存储架构难以兼顾高吞吐、低时延及异构数据融合的需求，造成业务发展瓶颈，阻碍AI应用落地。华为针对AI推理研发的UCM推理记忆数据管理技术在行业落地中的核心作用，通过“集中高质数据、提速AI训练、优化推理效能”三个角度，打造AI推理加速解决方案。
唐安波在会上围绕大模型推理“推不动、推得慢、推得贵”问题展开分享，硅基流动构建的AI infra工具链，聚焦提升算力利用率。核心推理框架适配100多款开源大模型，并通过公有云服务平台为广大开发者和企业提供优质的大模型服务。解决方案上，结合UCM技术卸载KVCache释放显存、提升推理性能，同时通过智能网关进一步优化流量调度、弹性扩缩容等策略，来应对高并发、低延时、高吞吐、长上下文等痛点，基于存储的KVCache方案可大幅提升系统吞吐。
在内部研讨环节，参会专家围绕算力产业发展方阵先进存力AI推理工作组下一阶段工作建议进行研讨，中国移动云能力中心、华为、硅基流动、浪潮信息、清微智能、东方算芯、智元芯、算苗科技、得一微电子等工作组成员单位参与讨论，贡献实践经验。存力中国行暨先进存力AI推理工作研讨会的成功举办，为存力产业创新发展凝聚共识，指明方向。
