蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

OmniTools 10月21日消息，蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，项目仓库地址为 github.com/vllm-project/humming。

据 vLLM 官方博客摘要，Humming 定位为通用、高性能的量化推理内核库，由蚂蚁集团与 vLLM 社区共同推进，代码托管在 vLLM 项目组织下。当前公开披露的信息较为简要，具体技术细节与使用方式可参见官方博客及仓库。