rdma support polling mode

[yanglimingcn]

What problem does this PR solve?

Issue Number:
#1434 #2344 #1650
Problem Summary:

RDMA支持Polling模式，使用bRPC的rdma测试工具能看到延迟明显降低。如果希望做到run-to-completion模型，需要把使用rdma的Server线程数设置成2（epoll bthread独占一个线程，另一个线程给rdma poller bthread和所有请求的bthread。），如果需要调用spdk/io_uring等异步驱动，需要设置rdma::SetPollingModeCallback， 并且设置rdma_poller_yield为true。

What is changed and the side effects?

Changed:

Side effects:

• Performance effects(性能影响):

• Breaking backward compatibility(向后兼容性):

---

Check List:

• Please make sure your changes are compilable(请确保你的更改可以通过编译).
• When providing us with a new feature, it is best to add related tests(如果你向我们增加一个新的功能, 请添加相关测试).
• Please follow Contributor Covenant Code of Conduct.(请遵循贡献者准则).

[wwbmmm]

@Tuvie 有空看看

[yanglimingcn]

@Tuvie 有空看看

@wwbmmm @Tuvie 这个有时间看看吧。

[LinyuWang]

请问有办法给 rdma 的 poller 做绑核么？ 绑核后，预期效果会更好吧？

[LinyuWang]

我来同步一下我这边使用 rdma + polling 的测试结果。
基础环境： ubuntu 22.04， cx6 网卡，单port 100Gb/s， 双路总共 192core CPU
业务场景：大模型推理
测试工具： brpc/example/rdma_performance
具体数据：
【不使用 polling mode】
[Threads: 1, Depth: 1, Attachment: 4096B, RDMA: yes, Echo: yes]
Avg-Latency: 56, 90th-Latency: 73, 99th-Latency: 84, 99.9th-Latency: 143, Throughput: 70.9391MB/s, QPS: 18k, Server CPU-utilization: 53%, Client CPU-utilization: 69%
【使用 polling mode】
[Threads: 1, Depth: 1, Attachment: 4096B, RDMA: yes, Echo: yes]
Avg-Latency: 10, 90th-Latency: 11, 99th-Latency: 13, 99.9th-Latency: 24, Throughput: 345.172MB/s, QPS: 88k, Server CPU-utilization: 1600%, Client CPU-utilization: 100%

注意：服务端我给了 16 个 poller， 因此服务端 cpu 使用率是 1600%

[wwbmmm]

LGTM

[szy441687879]

我们正在用这个commit加上spdk尝试实现存储的run to complete模型，发现有几个问题，辛苦帮忙看一下

[yanglimingcn]

你们具体怎么用的呢，每个分组一块盘吗？每个盘一个worker？

[yanglimingcn]

我们正在用这个commit加上spdk尝试实现存储的run to complete模型，发现有几个问题，辛苦帮忙看一下

可以在bRPC群里面找我，加个微信，这样聊更方便些。

[szy441687879]

你们具体怎么用的呢，每个分组一块盘吗？每个盘一个worker？

每个盘一个worker

[szy441687879]

感谢@yanglimingcn，我们使用这个cr在高性能存储场景实现了run-to-completion模型（with spdk），对比事件模式在延时方面确实有了显著的改善。
测试环境：CentOS Stream 9，网卡Mellanox MT2892（200G*2）,磁盘dapustor H5100
业务场景：高性能存储
具体数据：
在128k写入，1w qps的情况下
【不使用 polling mode】
Avg-Latency: 115, 90th-Latency: 125, 99th-Latency: 131, 99.9th-Latency: 134
【使用 polling mode】
Avg-Latency: 82, 90th-Latency: 84, 99th-Latency: 87, 99.9th-Latency: 89

在4k写入，1w qps的情况下
【不使用 polling mode】
Avg-Latency: 55, 90th-Latency: 57, 99th-Latency: 60, 99.9th-Latency: 156
【使用 polling mode】
Avg-Latency: 36, 90th-Latency: 38, 99th-Latency: 40, 99.9th-Latency: 140

可以看到polling-mode在高性能存储场景可以给业务带来20us+延时的收益

[yanglimingcn]

请问有办法给 rdma 的 poller 做绑核么？ 绑核后，预期效果会更好吧？

bool InitPollingModeWithTag(bthread_tag_t tag,
std::function<void(void)> callback = nullptr,
std::function<void(void)> init_fn = nullptr,
std::function<void(void)> release_fn = nullptr);
这个初始化函数里面可以传递三个调用，init_fn可以用来实现绑核的功能。

[yanglimingcn]

#3047 @chenBright

[cbsheng]

我们正在用这个commit加上spdk尝试实现存储的run to complete模型，发现有几个问题，辛苦帮忙看一下

可以在bRPC群里面找我，加个微信，这样聊更方便些。

@yanglimingcn 请问 bRPC 群怎么加？

[yanglimingcn]

我们正在用这个commit加上spdk尝试实现存储的run to complete模型，发现有几个问题，辛苦帮忙看一下

可以在bRPC群里面找我，加个微信，这样聊更方便些。

@yanglimingcn 请问 bRPC 群怎么加？

你发我一下你的微信号，我邀请你进入。可以发邮箱liming.yang139.com