推理速度有点慢，有什么好方法加速吗

[Jehuty-ML]

[rjk-git]

m

[Henryflee]

是呀，支持转成FasterTransformer吗

[yaleimeng]

INT4量化应该会快一点。。缩小输入与输出的长度应该会快一点。。
但是希望在快的同时完全保持效果是不太现实的。

[dogvane]

同问，我一张1080的卡，问了一个旅游地点问题，都要50s才有结果返回。

[yaleimeng]

@dogvane 6B参数的模型，上下文窗口又这么大，慢是必然的。能勉强跑起来就不错了。想象一下，每秒钟输出4~5个字，是不是也说的过去了。跟打字速度差不多
你的GPU也就只能跑跑1B甚至更小的模型而已，体验会好一点。

[huangtao36]

好奇chatGPT为啥可以这么快呢，有啥技术要点不

[Attect]

好奇chatGPT为啥可以这么快呢，有啥技术要点不

几百亿美元堆出来的速度

[SoftmaxMame]

好奇chatGPT为啥可以这么快呢，有啥技术要点不

@huangtao36
ChatGPT后面是成吨的H100 GPU来给你inference结果.用这些设备跑这个model也会很快.

我目前用4090跑FP16其实速度并不慢,给一个bench dp:
我的prompt是76 token (242 characters)的一个数学问题
在我的机器上ChatGLM-6B花了20s输出的结果是578 token (2214 characters)
有ChatGPT plus会员的情况下,同样的prompt,用Legacy (GPT3.5)花了19s,输出结果是480 token (2038 characters)

对于6B参数的LLM, 1080显存太小了 @dogvane

[rjk-git]

所以其实影响观感速度的原因是因为chatgpt流式输出...

[yaleimeng]

业内人士不会以为单张卡跑6B大模型就能0.1秒出几百字结果吧？
chatGPT部署在微软azure云上，数不清的GPU服务器集群，还有大型超算支持。

[SCAUapc]

我看设置里vocab的词表有15W，这很大。我曾经有个大规模分类的项目里用BERT，但鉴于最后一层输出的类别（几千）很多，发现最后的计算每个类别的概率还有softmax这一步很耗时和计算量。我觉得如果仅在中文场景的话可以基于BERT之类的词表做词表压缩，并且把第一层的token embedding layer进行重新改写（把不要的token embedding去掉，相应词表也要做改变）这应该能减少一些耗时

[SCAUapc]

我看设置里vocab的词表有15W，这很大。我曾经有个大规模分类的项目里用BERT，但鉴于最后一层输出的类别（几千）很多，发现最后的计算每个类别的概率还有softmax这一步很耗时和计算量。我觉得如果仅在中文场景的话可以基于BERT之类的词表做词表压缩，并且把第一层的token embedding layer进行重新改写（把不要的token embedding去掉，相应词表也要做改变）这应该能减少一些耗时

好吧今天看了下，底层不是像以前BERT GPT之类的分字，而是实打实的分词了，那就没办法了

[taozhijiang]

我用的CPU推理的，macOS的intel U
看推理的时候，CPU的利用率并不高，只有一个python进程的利用率是100%，其他核都在围观。
是不是没有并行计算啊？？？