Skip to content

Commit cc34cd8

Browse files
[Klaud Cold] docs(README_zh): use 核函式優化 for kernel optimization (#1845)
* docs(README_zh): use 核函式優化 for kernel optimization Replace 内核级优化 with 核函式優化 in the Chinese README "为什么?" section. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> * docs(README_zh): also use 核函式 for 内核 in the Tri Dao quote Consistency: change 底层内核 -> 底层核函式 so all kernel references use 核函式. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> --------- Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
1 parent da8c1ed commit cc34cd8

1 file changed

Lines changed: 2 additions & 2 deletions

File tree

README_zh.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -31,7 +31,7 @@ InferenceX™ 是一个开源、采用 Apache 2.0 许可证的自动化基准测
3131

3232
LLM 推理性能由两大支柱驱动:硬件与软件。硬件创新每年通过发布新的 GPU/XPU 与新系统带来阶跃式的性能提升,而软件则每天都在演进,在这些阶跃之上持续带来性能增益。速度即护城河 🚀
3333

34-
SGLang、vLLM、TensorRT-LLM、CUDA、ROCm 等 AI 软件通过内核级优化、分布式推理策略以及调度创新来实现这种持续的性能改进,在相隔可能仅数天的增量版本中不断推升性能的帕累托前沿。
34+
SGLang、vLLM、TensorRT-LLM、CUDA、ROCm 等 AI 软件通过核函式優化、分布式推理策略以及调度创新来实现这种持续的性能改进,在相隔可能仅数天的增量版本中不断推升性能的帕累托前沿。
3535

3636
这种软件演进的速度带来了一个挑战:在某个固定时间点进行的基准测试很快就会过时,无法代表使用最新软件包所能达到的性能。
3737

@@ -45,6 +45,6 @@ SGLang、vLLM、TensorRT-LLM、CUDA、ROCm 等 AI 软件通过内核级优化、
4545

4646
“当我们以前所未有的规模构建系统时,对机器学习社区而言,拥有开放、透明、能够反映推理在各类软硬件上真实表现的基准测试至关重要。InferenceX™ 的正面对比基准测试拨开了纷繁的噪音,为 Token 吞吐量、单位美元性能以及每兆瓦 Token 数提供了一幅鲜活的画面。这类开源工作增强了整个生态系统的实力,帮助从研究人员到前沿数据中心运营商的每一个人做出更明智的决策。” —— Peter Hoeschele,OpenAI Stargate 基础设施与工业计算副总裁
4747

48-
“理论峰值与真实世界推理吞吐量之间的差距,往往由系统软件决定:推理引擎、分布式策略以及底层内核。InferenceX™ 的价值在于,它对最新软件进行基准测试,展示这些优化在各类硬件上的实际效果。这类开放、可复现的结果有助于整个社区更快地前进。” —— Tri Dao,Together AI 首席科学家、Flash Attention 发明者
48+
“理论峰值与真实世界推理吞吐量之间的差距,往往由系统软件决定:推理引擎、分布式策略以及底层核函式。InferenceX™ 的价值在于,它对最新软件进行基准测试,展示这些优化在各类硬件上的实际效果。这类开放、可复现的结果有助于整个社区更快地前进。” —— Tri Dao,Together AI 首席科学家、Flash Attention 发明者
4949

5050
“业界需要许多公开、可复现的推理性能基准测试。我们很高兴能代表 vLLM 团队与 InferenceX™ 展开合作。让所有人都能信赖并引用的、更加多样化的工作负载与场景,将帮助生态系统不断向前发展。公平、透明的测量推动着从模型架构到推理引擎再到硬件的每一层栈的进步。” —— Simon Mo,vLLM 项目联合负责人

0 commit comments

Comments
 (0)