首发快讯

蚂蚁集团与vLLM联合开源Humming：高性能、灵活的量化推理内核

每日经济新闻 2026-10-21 20:35:57

每经AI快讯，10月21日，据蚂蚁开源官微消息，蚂蚁集团与vLLM社区联合开源Humming，一个通用、高性能的量化推理算子库。Humming具备以下特点：广泛的设备支持，覆盖多种GPU，以及兼容CUDA编程的设备；丰富的量化支持，通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。

如需转载请与《每日经济新闻》报社联系。
未经《每日经济新闻》报社授权，严禁转载或镜像，违者必究。

读者热线：4008890008

特别提醒：如果我们使用了您的图片，请作者与本站联系索取稿酬。如您不希望作品出现在本站，可联系我们要求撤下您的作品。

上一篇文章

4连板海洋王：AI+智慧照明相关业务收入规模有限与“深海科技”概念无关

返回每经网首页

下一篇文章

南天信息：2026年前三季度净利润约4056万元