非常好的模型，四百多B的大小刚好可以在量化后部署到384gb显存的机器上。请问你们能不能发布gptq int4量化的模型？如果有质量问题的话可以试试保留注意力层int8，其余int4，谢谢了！
非常好的模型，四百多B的大小刚好可以在量化后部署到384gb显存的机器上。请问你们能不能发布gptq int4量化的模型？如果有质量问题的话可以试试保留注意力层int8，其余int4，谢谢了！