Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
8 changes: 4 additions & 4 deletions package.json
Original file line number Diff line number Diff line change
Expand Up @@ -27,12 +27,12 @@
"workbox-window": "^7.4.0"
},
"devDependencies": {
"@lint-md/cli": "^2.0.0",
"@lint-md/cli": "^2.1.1",
"@types/markdown-it": "^14.1.2",
"@types/node": "^24.13.2",
"@types/node": "^24.13.3",
"markdown-it-mathjax3": "^4.3.2",
"prettier": "^3.9.1",
"sharp": "^0.35.2",
"prettier": "^3.9.5",
"sharp": "^0.35.3",
"simple-git-hooks": "^2.13.1"
},
"simple-git-hooks": {
Expand Down
3,879 changes: 486 additions & 3,393 deletions pnpm-lock.yaml

Large diffs are not rendered by default.

2 changes: 1 addition & 1 deletion src/posts/2023-os-report.md
Original file line number Diff line number Diff line change
Expand Up @@ -28,7 +28,7 @@ category: community-activity

飞桨端到端自适应混合并行训练技术以及压缩、推理、服务部署的协同优化,高效支撑以文心一言为代表的文心大模型的生产与应用。

IDC 发布的 2022 年中国深度学习框架和平台市场份额报告显示,百度稳居中国深度学习平台市场综合份额第一。中国信息通信研究院《深度学习平台发展报告(2022)》指出,飞桨已经成为中国深度学习市场应用规模第一的深度学习框架和赋能平台。
IDC 发布的 2022 年中国深度学习框架和平台市场份额报告显示,百度稳居中国深度学习平台市场综合份额第一。中国信息通信研究院《深度学习平台发展报告2022》指出,飞桨已经成为中国深度学习市场应用规模第一的深度学习框架和赋能平台。

当前飞桨已凝聚 800 万开发者,基于飞桨创建 80 万个模型,服务 22 万家企事业单位,广泛服务于金融、能源、制造、交通等领域。

Expand Down
6 changes: 3 additions & 3 deletions src/posts/2024-summary.md
Original file line number Diff line number Diff line change
Expand Up @@ -179,7 +179,7 @@ figcaption {

与此同时,线上集训营的**一、二、三等奖**的答辩和评审工作也按计划顺利进行,以下是礼品和获奖选手名单:

- 一等奖:iPad (第十代) 💻 [@GoldenStain](https://github.com/GoldenStain)
- 一等奖:iPad第十代 💻 [@GoldenStain](https://github.com/GoldenStain)
- 二等奖:Apple Watch SE ⌚️ [@Aoraki-Dream](https://github.com/Aoraki-Dream)
- 三等奖:Airpods(第三代)🎧 [@fufu0615](https://github.com/fufu0615)

Expand All @@ -194,11 +194,11 @@ figcaption {

- 线上共有 26 名营员合入了超过 80 个 PR;
- 线上共有 23 名营员成为新的 contributor,12 名营员通过考核;
- 其余数据正在统计中...
- 其余数据正在统计中……

本期启航计划中涌现出众多优秀营员,一二三等奖的竞争异常激烈,因此我们相应地扩大了获奖名额,以下是奖品及获奖选手名单:

- 一等奖:iPad (第十代) 💻 [@LittleHeroZZZX](https://github.com/LittleHeroZZZX)
- 一等奖:iPad第十代 💻 [@LittleHeroZZZX](https://github.com/LittleHeroZZZX)
- 二等奖:Apple Watch S10 ⌚️ [@aquagull](https://github.com/aquagull)
- 三等奖:Airpods 3&4 🎧 [@WAYKEN-TSE](https://github.com/WAYKEN-TSE)、[@Albresky](https://github.com/Albresky)

Expand Down
2 changes: 1 addition & 1 deletion src/posts/2025-3rd-sw-conf.md
Original file line number Diff line number Diff line change
Expand Up @@ -56,7 +56,7 @@ figcaption {

在启动仪式后,来自开放原子开源基金会、武汉大学、南方电网、中国石油、武汉开源创新联盟、芯来科技、百度、武汉凹语言社区等单位的十余位专家代表,结合实际工作,围绕企业开源的战略融合、合规设计、社区治理与运营等领域展开了深入交流。

百度在线网络技术(北京)有限公司高级产品经理张晶,现场分享了 **《产业级深度学习平台飞桨的开源实践》** ,从飞桨框架的演进历程、开发者社区建设、教育生态、企业生态等多个视角,系统拆解了飞桨开源的成功之道。
百度在线网络技术(北京)有限公司高级产品经理张晶,现场分享了 **《产业级深度学习平台飞桨的开源实践》** ,从飞桨框架的演进历程、开发者社区建设、教育生态、企业生态等多个视角,系统拆解了飞桨开源的成功之道。

![alex](../images/2025-3rd-sw-conf/alex.jpg)

Expand Down
8 changes: 4 additions & 4 deletions src/posts/attnsink-paper-sharing.md
Original file line number Diff line number Diff line change
Expand Up @@ -76,7 +76,7 @@ $\text{Sink}_k^\epsilon = \frac{1}{L} \sum_{l=1}^{L} \frac{1}{H} \sum_{h=1}^{H}
- 输入数据的领域对 attention sink 程度几乎没有影响。
- 超越自然语言:即便输入随机采样的序列也仍会出现。
- base model 和 chat model:经过 instruction tuning 后的模型的 attention sink 结果与预训练模型结果相似。
- model scale:从小模型(14M)到大模型(10B+),attention sink 均会出现。
- model scale:从小模型14M到大模型10B+,attention sink 均会出现。

**由于 chat model 和 base model 在 sink 到比例相似,attention sink 很可能是在预训练阶段出现的。**

Expand Down Expand Up @@ -109,9 +109,9 @@ Fix token(StreamingLLM):在序列中添加一个 global learnable token,作
- 采用 Prefix-LM 时,attention sink 出现在**prefix token 中,而不仅仅是第一个 token**。
- 仍然只出现在一个 token 上,但这个 token 会是前缀中的某一个,而不是固定在全局的第一个 token。

采用**滑动窗口注意力 (Shifted Window Attention)** 时,attention sink 出现在窗口的“绝对”第一个 token,而非“相对”第一个 token。**较小的窗口大小会抑制 sink 的出现**。
采用**滑动窗口注意力Shifted Window Attention** 时,attention sink 出现在窗口的“绝对”第一个 token,而非“相对”第一个 token。**较小的窗口大小会抑制 sink 的出现**。

如果一个 token 位于窗口范围内 (即 t≤w,其中 t 为 token 位置,w 为窗口大小),它仍然能够注意到序列的第一个 token,此时模型仍然会在第一个 token 上出现 sink。当 t>w 时,该 token 只能注意到其窗口内的第一个 token (即第 t−w+1 个 token),而这个“相对”的第一个 token 通常不会出现 attention sink。减小窗口大小可以阻止 sink 的出现。
如果一个 token 位于窗口范围内即 t≤w,其中 t 为 token 位置,w 为窗口大小,它仍然能够注意到序列的第一个 token,此时模型仍然会在第一个 token 上出现 sink。当 t>w 时,该 token 只能注意到其窗口内的第一个 token即第 t−w+1 个 token),而这个“相对”的第一个 token 通常不会出现 attention sink。减小窗口大小可以阻止 sink 的出现。

## 模型结构对 Attention Sink 的影响

Expand All @@ -130,7 +130,7 @@ Fix token(StreamingLLM):在序列中添加一个 global learnable token,作

![](../images/attnsink-paper-sharing/attention_sink_table_4.png)

通过引入可学习的 sink token(作为 implicit bias)或直接在注意力机制中添加可学习的键值偏置 (KV biases) 或仅键偏置 (K biases, 此时$\mathbf{v}^{\star l,h}=\mathbf{0}$),可以将 sink token 从第一个 token 转移到这些引入的 bias 上,且不会损害模型性能 。而仅使用 value bias 则做不到,sink 会回到第一个 token。
通过引入可学习的 sink token(作为 implicit bias)或直接在注意力机制中添加可学习的键值偏置KV biases或仅键偏置K biases, 此时$\mathbf{v}^{\star l,h}=\mathbf{0}$,可以将 sink token 从第一个 token 转移到这些引入的 bias 上,且不会损害模型性能 。而仅使用 value bias 则做不到,sink 会回到第一个 token。

## Attention 形式的影响

Expand Down
6 changes: 3 additions & 3 deletions src/posts/buaa-starter.md
Original file line number Diff line number Diff line change
Expand Up @@ -35,19 +35,19 @@ figcaption {

在飞桨实习期间同学们都有较深的体会,下面是答辩前三名同学与我们分享的感悟:

### 1.阮一洲
### 1. 阮一洲

> 北航人工智能学院 21 级 77 班 信息与计算科学(强基计划)专业直博生

在担任百度飞桨开源共建实习生期间,我专注于 PIR 专项团的开发任务,着重学习了 IR 和 PIR 的运行机制,为原 IR 下的单测适配 PIR 进行修复和迁移。除此之外,我优化了大量的报错信息,学习了有关 PADDLE ENFORCE 宏和 CHECK 宏的使用规则,使得报错信息更加清晰完备。我还参与了 Ruff 代码风格修改的相关工作,为飞桨运行的 python 环境进行了预升级。我深刻地体会到了企业中团队协作的重要性,感受到了在百度的强运算能力的开发机和庞大知识库的支持下带来的工作效率的飞升,也感受到了国产深度学习框架飞桨的便捷高效。在未来的学习、科研乃至于工作生涯中,我会继续使用飞桨和其他深度学习框架来提高自己的开发效率。

### 2.奚嘉文
### 2. 奚嘉文

> 北航人工智能学院 21 级 77 班 信息与计算科学(强基计划)专业直博生,目前转入深度学习技术平台部-基础框架研发组实习

“我在实习期间学习了百度飞桨基础知识与工作流程,包括静态图、动态图模式的知识,CINN 符号化推导代码开发流程等。公司的实习更加系统、严谨,同时提 PR 和 review 的流程也是学校实习所没有的。在这段实习期间,我不仅仅提升了自己的代码能力,通过查找报错栈堆,逐层定位问题;也认识到了在解决问题的过程中,要积极与同学和部门导师沟通,这样才能高效地解决工作中遇到的问题。”

### 3.刘煦东
### 3. 刘煦东

> 北航人工智能学院 21 级 214211 班学生,现保研到北航人工智能学院

Expand Down
12 changes: 6 additions & 6 deletions src/posts/build-ernie-websearch.md
Original file line number Diff line number Diff line change
Expand Up @@ -45,12 +45,12 @@ figcaption {

与传统 LLM 问答相比,本项目实现了四大创新亮点:

| 功能模块 | 技术实现 | 用户价值 |
| ------------ | ---------------- | ------------------------------ |
| 智能检索决策 | 动态判断联网需求 | 减少 80%无效搜索,响应提速 40% |
| 问题语义改写 | Query 扩展与优化 | 搜索相关性提升 65% |
| 权威内容融合 | 高质量源优先策略 | 答案权威性达 89% |
| 流式多轮对话 | 异步生成技术 | 等待时间减少 70% |
| 功能模块 | 技术实现 | 用户价值 |
| ------------ | ---------------- | ------------------------------- |
| 智能检索决策 | 动态判断联网需求 | 减少 80% 无效搜索,响应提速 40% |
| 问题语义改写 | Query 扩展与优化 | 搜索相关性提升 65% |
| 权威内容融合 | 高质量源优先策略 | 答案权威性达 89% |
| 流式多轮对话 | 异步生成技术 | 等待时间减少 70% |

本项目处理流程如下:

Expand Down
10 changes: 5 additions & 5 deletions src/posts/chuan-story.md
Original file line number Diff line number Diff line change
Expand Up @@ -66,7 +66,7 @@ figcaption {

2. **作为一个 21 岁青春男大,平时有什么兴趣爱好?听说你喜欢出去玩,你在福建有什么推荐给大家打卡的景点么?哈哈~**

**🍢🍢:** 爱好当然是出去走走玩玩,感受一下人间烟火气。打卡的话当然是福建的省会厦门啦🐶,在十里长堤跟着男女朋友看看夕阳,鼓浪屿的小巷子。平潭岛也挺不错的(🍢🍢没去过但是朋友圈已经发爆了,图中为蓝眼泪时期,需要特定的季节,且肉眼看不出来这种效果,需要相机长曝光,大家别跑空咯)
**🍢🍢:** 爱好当然是出去走走玩玩,感受一下人间烟火气。打卡的话当然是福建的省会厦门啦🐶,在十里长堤跟着男女朋友看看夕阳,鼓浪屿的小巷子。平潭岛也挺不错的🍢🍢没去过但是朋友圈已经发爆了,图中为蓝眼泪时期,需要特定的季节,且肉眼看不出来这种效果,需要相机长曝光,大家别跑空咯

<div style="display: flex; justify-content: space-between">
<figure style="width: 33%">
Expand All @@ -88,17 +88,17 @@ figcaption {
<figcaption>平潭(来源: 新华社 2023/04/29 )</figcaption>
</figure>

3. **据我了解,你在初中时就用易语言写了个安卓 APP 给奶奶使用,你能详细讲讲这个 APP 的设计目的和功能么?你当时学习了些什么技术才把这个 APP 做成?那又是通过哪种方式(看书?上网学习?视频?)学习的呢?**
3. **据我了解,你在初中时就用易语言写了个安卓 APP 给奶奶使用,你能详细讲讲这个 APP 的设计目的和功能么?你当时学习了些什么技术才把这个 APP 做成?那又是通过哪种方式(看书上网学习?视频?)学习的呢?**

**🍢🍢:** 1️⃣ 其实设计这个 APP 是因为奶奶不识字,但是又需要使用手机(而正常手机打电话都是看人的名字进行拨打)。这个 APP 可以理解为一个默认桌面,手机解锁后 APP 就打开,打开后是像下图一样的手机联系人的照片,其实就是把联系人名字变成对应的他们的图片,这样尽管奶奶不识字,也可以看照片进行操作了!🐶 2️⃣ 当时学了啥技术: 其实也没具体的学,因为易语言是中文,有一定的思维逻辑就能实现啦。3️⃣ 通过哪种方式: 翻翻编译器自带的易语言说明(那时候 bilibili 还没有那么火,也没有啥书,只有一台能跑安卓模拟器的电脑)。
**🍢🍢:** 1️⃣ 其实设计这个 APP 是因为奶奶不识字,但是又需要使用手机(而正常手机打电话都是看人的名字进行拨打)。这个 APP 可以理解为一个默认桌面,手机解锁后 APP 就打开,打开后是像下图一样的手机联系人的照片,其实就是把联系人名字变成对应的他们的图片,这样尽管奶奶不识字,也可以看照片进行操作了!🐶 2️⃣ 当时学了啥技术其实也没具体的学,因为易语言是中文,有一定的思维逻辑就能实现啦。3️⃣ 通过哪种方式翻翻编译器自带的易语言说明(那时候 bilibili 还没有那么火,也没有啥书,只有一台能跑安卓模拟器的电脑)。

<div style="display: flex; justify-content: center">
<img src="../images/chuan-story/chuan-08.jpg" alt="chuan-08" style="width: 20%;">
</div>

4. **在 16 岁左右,你就陆陆续续自学了 Python、Java、C,后来又自学了 Go、Android 等等,在这个自学过程中你遇到了那些困难,又有想过放弃么?**

**🍢🍢:** 遇到困难当然是有的,很难想象 C 我看了半年视频才学会的(有部分原因是我比较拖, 学习一门新的语言时长最好不要超过两周, 因为后续的项目会慢慢的补上来的)。每次接触一门新的语言都会对计算机有更深的理解,理解不同语言为什么要这么做,这么做的优缺点,这也是不断学习的动力吧。想过放弃么: 没有,我还挺感兴趣的,兴趣是最好的老师。
**🍢🍢:** 遇到困难当然是有的,很难想象 C 我看了半年视频才学会的(有部分原因是我比较拖学习一门新的语言时长最好不要超过两周因为后续的项目会慢慢的补上来的)。每次接触一门新的语言都会对计算机有更深的理解,理解不同语言为什么要这么做,这么做的优缺点,这也是不断学习的动力吧。想过放弃么没有,我还挺感兴趣的,兴趣是最好的老师。

5. **能简单聊聊你的这几年的学习经历么?**

Expand Down Expand Up @@ -136,7 +136,7 @@ figcaption {

12. **参与护航计划时,有什么不一样的感受吗?实际开发过程有没有遇到困难,是怎么解决的?**

**🍢🍢:** 最大的感受就是,终于从应用层转向了框架层。困难是肯定有的,也有非常多不会的,但是这没关系,问研发大哥就行。就像昆昆(@[2742195759](https://github.com/2742195759))说的: 你尽管问,我就是你的文档。
**🍢🍢:** 最大的感受就是,终于从应用层转向了框架层。困难是肯定有的,也有非常多不会的,但是这没关系,问研发大哥就行。就像昆昆(@[2742195759](https://github.com/2742195759))说的你尽管问,我就是你的文档。

13. **在 Paddle 社区中,你参与的哪个项目(或活动)你印象最深刻,能简单描述一下这个项目么?这个项目让你收获了什么?**

Expand Down
Loading