首发快讯

华为将发布AI推理创新技术UCM 实现高吞吐、低时延体验

2025-08-12 13:29:24

每经AI快讯，据央视新闻，8月12日，在2025金融AI推理应用落地与发展论坛上，华为将发布AI推理创新技术UCM（推理记忆数据管理器）。作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大了推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token的推理成本。

据介绍，推理体验直接关系到用户与AI交互时的感受，包括回答问题的时延、答案的准确度以及复杂上下文的推理能力等方面。当前，随着AI产业已从“追求模型能力的极限”转向“追求推理体验的最优化”，推理体验直接关联用户满意度、商业可行性等，成为衡量模型价值的黄金标尺。

责编王瀚黎

特别提醒：如果我们使用了您的图片，请作者与本站联系索取稿酬。如您不希望作品出现在本站，可联系我们要求撤下您的作品。

上一篇文章

中芯国际涨幅扩大至5.03%

返回每经网首页

下一篇文章

沪深京三市成交额超1.4万亿元，较上日此时放量713亿元