Skip to content

Serving模式推理异常 #1969

@weida008

Description

@weida008
我在使用飞桨的框架实现模型训练和推理过程中发生了一些问题,有人了解的吗?麻烦帮忙分析解决,谢谢!

问题:同一批图片进行推理多次推理时,偶尔出现结果不一样的情况,关闭TRT加速后暂未发现,但关闭后无法实现推理加速。

服务端启动命令:python3 -m paddle_serving_server.serve --model serving_server  --runtime_thread_num 6 --batch_infer_size 32  --port 9595  --gpu_ids 0 --gpu_multi_stream --use_trt

环境:服务端在Ubuntu系统,运行Serving模式进行推理。客户端在windows端(采用GRPC协议,异步通信方式)。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions