1.使用的是7b模型。llama.cpp部署的，可以流畅运行，但是提问回复乱七八糟，请问一下模型是不是没有对话模板啊？ 2，请问一下4bit量化后模型损失大吗？之前一直使用gpt4和《中国药典》做了一个毕业设计。如果损失不大我想用huatuogpt来替换gpt4.
1.使用的是7b模型。llama.cpp部署的，可以流畅运行，但是提问回复乱七八糟，请问一下模型是不是没有对话模板啊？
2，请问一下4bit量化后模型损失大吗？之前一直使用gpt4和《中国药典》做了一个毕业设计。如果损失不大我想用huatuogpt来替换gpt4.