Skip to content
Open
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
24 changes: 12 additions & 12 deletions 01Introduction/02Develop.md
Original file line number Diff line number Diff line change
Expand Up @@ -26,19 +26,19 @@ AI 起源于上世纪五十年代,经历了几次繁荣与低谷,直到 2016

![](images/02Develop02.png)

因此训练过程就是根据用户给定的带有标签(如图中的多张马冬梅的照片,以及马冬梅照片对应的 “马冬梅” 这个确定性的输出标签)的数据集,不断通过优化算法进行训练学习。而训练学习则是通过下面步骤学习出给定数据集下最优的模型权重 $w_n$ 的取值。
因此训练过程就是根据用户给定的带有标签(如图中的多张马冬梅的照片,以及马冬梅照片对应的 “马冬梅” 这个确定性的输出标签)的数据集,不断通过优化算法进行训练学习。而训练学习则是通过下面步骤学习出给定数据集下最优的模型权重 $w_n$ 的取值。

3.1 **前向传播(Forward Propagation)**:由输入到输出完成 AI 模型中各层矩阵计算(例如卷积层,池化层等),产生输出并完成损失函数 LOSS 计算。
3.1 **前向传播(Forward Propagation)**:由输入到输出完成 AI 模型中各层矩阵计算(例如卷积层,池化层等),产生输出并完成损失函数 LOSS 计算。

3.2 **反向传播(Back Propagation)**:由输出到输入反向完成 AI 模型中各层的权重和输出对损失函数的梯度求解。
3.2 **反向传播(Back Propagation)**:由输出到输入反向完成 AI 模型中各层的权重和输出对损失函数的梯度求解。

3.3 **梯度更新(Weight Update)**:对模型权重通过梯度下降法完成模型权重针对梯度和指定学习率更新。
3.3 **梯度更新(Weight Update)**:对模型权重通过梯度下降法完成模型权重针对梯度和指定学习率更新。

不断重复以上步骤 3.1 ~ 3.2,直到达到 AI 模型收敛(即总误差损失 Loss 值降到一个提前设置的阈值)或达到终止条件(例如指定达到一定迭代(Step)次数然后停止训练)。
不断重复以上步骤 3.1 ~ 3.2,直到达到 AI 模型收敛(即总误差损失 Loss 值降到一个提前设置的阈值)或达到终止条件(例如指定达到一定迭代(Step)次数然后停止训练)。

如图所示,当完成了模型训练,意味着在给定的数据集上,模型已经达到最佳或者满足需求的预测效果。在如果开发者对模型预测效果满意,就可以进入模型部署进行推理和使用模型。**·一句话而言,我们训练 AI 模型的过程,就是通过不断的迭代计算,使用梯度下降的优化算法,使得损失值 Loss 越来越小。损失值越小就表示算法达到数学意义上的最优。**
如图所示,当完成了模型训练,意味着在给定的数据集上,模型已经达到最佳或者满足需求的预测效果。在如果开发者对模型预测效果满意,就可以进入模型部署进行推理和使用模型。**·一句话而言,我们训练 AI 模型的过程,就是通过不断的迭代计算,使用梯度下降的优化算法,使得损失值 Loss 越来越小。损失值越小就表示算法达到数学意义上的最优。**

![](images/02Develop03.png)
![](images/02Develop03.png)

4. **推理(Inference)过程**:推理只需要执行训练过程中的前向传播过程即可,推理的原理是基于训练好的 AI 模型,通过输入待预测的数据,经过前向传播过程,即通过 AI 模型定义的激活函数和非线性函数处理数据,得到最终的预测结果。

Expand Down Expand Up @@ -96,7 +96,7 @@ AI 起源于上世纪五十年代,经历了几次繁荣与低谷,直到 2016

例如,以下几种服务中沉淀和形成了相应领域代表性的数据集:

- **搜索引擎(Search Engine)**:在图像检索(Image Search)邻域出现了如 ImageNet,Coco 等计算机视觉数据集。在文本检索(Text Search)出现了 Wikipedia 等自然语言处理数据集。
- **搜索引擎(Search Engine)**:在图像检索(Image Search)领域出现了如 ImageNet,Coco 等计算机视觉数据集。在文本检索(Text Search)出现了 Wikipedia 等自然语言处理数据集。

- **移动应用(Application)**:移动应用数据分析是用户获取和留存的强劲引擎。如图所示,国内出现了优质的数据源的公司如知乎和小红书,传统的贴吧如天涯论坛、百度网吧等充斥广告等地方已经不再是优质数据源。各家移动互联网如淘宝、拼多多收集了大量的用户购买和浏览记录,形成庞大的推荐系统数据集,广告数据集。

Expand All @@ -118,7 +118,7 @@ AI 起源于上世纪五十年代,经历了几次繁荣与低谷,直到 2016

- 同时伴随着性能等需求得到满足,数据安全与模型安全问题挑战也变的日益突出。

综上所述,AI 系统本身的设计相较于传统机器学习系统有更多样的表达需求,更大规模和多样数据集和更广泛的用户基础
综上所述,AI 系统本身的设计相较于传统机器学习系统有更多样的表达需求,更大规模和更多样的数据集,以及更广泛的用户基础

### AI 算法的进步

Expand Down Expand Up @@ -160,10 +160,10 @@ AI 起源于上世纪五十年代,经历了几次繁荣与低谷,直到 2016

- 人工智能(AI)技术自 20 世纪 50 年代以来经历了多次发展高潮,2016 年 AlphaGo 的胜利重新点燃了公众对 AI 的兴趣,而 AI 已在互联网行业如搜索引擎、图片检索和广告推荐等领域广泛应用。

- 催生这轮 AI 热潮的三个重要因素:大数据的积累、超大规模的计算能力支撑、机器学习尤其是深度学习算法进行研究
- 催生这轮 AI 热潮的三个重要因素:大数据的积累、超大规模的计算能力支撑、机器学习尤其是深度学习算法的深入研究

- 除了理解上层 AI 算法,也需要理解 AI 系统底层体系结构,并利用两者的优化空间进行抽象和权衡取舍选取最优系统解决方法
- 除了理解上层 AI 算法,也需要理解 AI 系统底层体系结构,并利用两者的优化空间进行抽象和权衡,从而选取最优系统解决方法

- 机器学习是实现 AI 的方法,深度学习是实现机器学习的技术,神经网络是深度学习的具体实现形态,AI 系统设计围绕这些技术进行。
- 机器学习是实现 AI 的方法,深度学习是机器学习的一个重要分支,神经网络是深度学习的具体实现形态,AI 系统设计围绕这些技术进行。

- AI 系统的发展受到大数据积累、计算能力提升和算法进步的推动,当前 AI 算法和模型不断演进,算力和体系结构的进步为 AI 提供了强大的执行性能,同时带来了新的系统设计挑战。