7月14日,腾讯腾讯混元官方宣布,混元针对开源社区对量化版本的数模署强烈呼声,团队成功将参数量高达295B的卡即可部Hy3模型权重量化至1bit与4bit,并打包为GGUF格式。腾讯借助llama.cpp生态的混元支持,Hy3打破了以往必须依赖多卡集群的数模署限制,现在仅需一张推理显卡,卡即可部甚至是腾讯在内存充足的本地设备上,即可实现流畅部署与运行。混元