百科

腾讯混元:295B参数模型Hy3单卡即可部署

时间:2010-12-5 17:23:32  作者:时尚   来源:探索  查看:  评论:0
内容摘要:7月14日,腾讯混元官方宣布,针对开源社区对量化版本的强烈呼声,团队成功将参数量高达295B的Hy3模型权重量化至1bit与4bit,并打包为GGUF格式。借助llama.cpp生态的支持,Hy3打破

7月14日,腾讯腾讯混元官方宣布,混元针对开源社区对量化版本的数模署强烈呼声,团队成功将参数量高达295B的卡即可部Hy3模型权重量化至1bit与4bit,并打包为GGUF格式。腾讯借助llama.cpp生态的混元支持,Hy3打破了以往必须依赖多卡集群的数模署限制,现在仅需一张推理显卡,卡即可部甚至是腾讯在内存充足的本地设备上,即可实现流畅部署与运行。混元

数模署
copyright © 2026 powered by 优瑞优资讯网   sitemap