Site updated: 2026-02-25 12:56:13

Author: RunsStudio

2025/11/03/Python导包失败原因及解决方法/index.html

@@ -367,9 +367,9 @@ <h1 id="分析与解决方案">分析与解决方案</h1>
                   <article class="post-prev col-6">
 
 
-                      <a href="/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/" title="强化学习学习笔记（二）贝尔曼方程">
+                      <a href="/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/" title="强化学习笔记（二）贝尔曼方程">
                         <i class="iconfont icon-arrowleft"></i>
-                        <span class="hidden-mobile">强化学习学习笔记（二）贝尔曼方程</span>
+                        <span class="hidden-mobile">强化学习笔记（二）贝尔曼方程</span>
                         <span class="visible-mobile">上一篇</span>
                       </a>
 

2026/01/04/强化学习学习笔记（一）基础概念/index.html 2026/01/04/强化学习笔记（一）基础概念/index.html2026/01/04/强化学习学习笔记（一）基础概念/index.html renamed to 2026/01/04/强化学习笔记（一）基础概念/index.html

@@ -19,21 +19,21 @@
   <meta name="author" content="">
   <meta name="keywords" content="交通">
 
-    <meta name="description" content="强化学习学习笔记（一）基础概念 本笔记是b站的 西湖大学强化学习课程 的笔记。并附带一些个人的思考。 # 一、基础概念 强化学习各章节  基础概念 贝尔曼方程 贝尔曼最优方程 值迭代&amp;策略迭代 蒙特卡洛学习 随机估计 时序差分学习 值函数估计 策略梯度方法 Actor-Critic 方法  章节关系 章节1-3 强化学习的基础工具 章节4-10 强化学习的">
+    <meta name="description" content="强化学习笔记（一）基础概念 本笔记是b站的 西湖大学强化学习课程 的笔记。并附带一些个人的思考。 # 一、基础概念 强化学习各章节  基础概念 贝尔曼方程 贝尔曼最优方程 值迭代&amp;策略迭代 蒙特卡洛学习 随机估计 时序差分学习 值函数估计 策略梯度方法 Actor-Critic 方法  章节关系 章节1-3 强化学习的基础工具 章节4-10 强化学习的算法">
 <meta property="og:type" content="article">
-<meta property="og:title" content="强化学习学习笔记（一）基础概念">
-<meta property="og:url" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%80%EF%BC%89%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5/index.html">
+<meta property="og:title" content="强化学习笔记（一）基础概念">
+<meta property="og:url" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%80%EF%BC%89%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5/index.html">
 <meta property="og:site_name" content="Run&#39;s Studio">
-<meta property="og:description" content="强化学习学习笔记（一）基础概念 本笔记是b站的 西湖大学强化学习课程 的笔记。并附带一些个人的思考。 # 一、基础概念 强化学习各章节  基础概念 贝尔曼方程 贝尔曼最优方程 值迭代&amp;策略迭代 蒙特卡洛学习 随机估计 时序差分学习 值函数估计 策略梯度方法 Actor-Critic 方法  章节关系 章节1-3 强化学习的基础工具 章节4-10 强化学习的">
+<meta property="og:description" content="强化学习笔记（一）基础概念 本笔记是b站的 西湖大学强化学习课程 的笔记。并附带一些个人的思考。 # 一、基础概念 强化学习各章节  基础概念 贝尔曼方程 贝尔曼最优方程 值迭代&amp;策略迭代 蒙特卡洛学习 随机估计 时序差分学习 值函数估计 策略梯度方法 Actor-Critic 方法  章节关系 章节1-3 强化学习的基础工具 章节4-10 强化学习的算法">
 <meta property="og:locale" content="zh_CN">
 <meta property="article:published_time" content="2026-01-04T12:10:57.000Z">
-<meta property="article:modified_time" content="2026-01-04T12:30:32.574Z">
+<meta property="article:modified_time" content="2026-02-25T03:17:16.600Z">
 <meta property="article:tag" content="交通">
 <meta name="twitter:card" content="summary_large_image">
 
 
 
-  <title>强化学习学习笔记（一）基础概念 - Run&#39;s Studio</title>
+  <title>强化学习笔记（一）基础概念 - Run&#39;s Studio</title>
 
   <link  rel="stylesheet" href="https://lib.baomitu.com/twitter-bootstrap/4.6.1/css/bootstrap.min.css" />
 
@@ -199,7 +199,7 @@
       <div class="banner-text text-center fade-in-up">
         <div class="h2">
 
-            <span id="subtitle" data-typed-text="强化学习学习笔记（一）基础概念"></span>
+            <span id="subtitle" data-typed-text="强化学习笔记（一）基础概念"></span>
 
         </div>
 
@@ -222,7 +222,7 @@
       <span class="post-meta mr-2">
         <i class="iconfont icon-chart"></i>
 
-          721 字
+          719 字
 
       </span>
 
@@ -233,7 +233,7 @@
 
 
 
-          7 分钟
+          6 分钟
 
       </span>
 
@@ -270,12 +270,12 @@
       <div class="container nopadding-x-md" id="board-ctn">
         <div id="board">
           <article class="post-content mx-auto">
-            <h1 id="seo-header">强化学习学习笔记（一）基础概念</h1>
+            <h1 id="seo-header">强化学习笔记（一）基础概念</h1>
 
 
               <div class="markdown-body">
 
-                <h1 id="强化学习学习笔记一基础概念">强化学习学习笔记（一）基础概念</h1>
+                <h1 id="强化学习笔记一基础概念">强化学习笔记（一）基础概念</h1>
 <p>本笔记是b站的 <a
 target="_blank" rel="noopener" href="https://www.bilibili.com/video/BV1sd4y167NS">西湖大学强化学习课程</a>
 的笔记。并附带一些个人的思考。 # 一、基础概念</p>
@@ -353,8 +353,8 @@ <h1 id="二核心笔记">二、核心笔记</h1>
 
   <div class="license-box my-3">
     <div class="license-title">
-      <div>强化学习学习笔记（一）基础概念</div>
-      <div>https://runsstudio.github.io/2026/01/04/强化学习学习笔记（一）基础概念/</div>
+      <div>强化学习笔记（一）基础概念</div>
+      <div>https://runsstudio.github.io/2026/01/04/强化学习笔记（一）基础概念/</div>
     </div>
     <div class="license-meta">
 
@@ -403,8 +403,8 @@ <h1 id="二核心笔记">二、核心笔记</h1>
                   <article class="post-next col-6">
 
 
-                      <a href="/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/" title="强化学习学习笔记（二）贝尔曼方程">
-                        <span class="hidden-mobile">强化学习学习笔记（二）贝尔曼方程</span>
+                      <a href="/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/" title="强化学习笔记（二）贝尔曼方程">
+                        <span class="hidden-mobile">强化学习笔记（二）贝尔曼方程</span>
                         <span class="visible-mobile">下一篇</span>
                         <i class="iconfont icon-arrowright"></i>
                       </a>

2026/01/04/强化学习学习笔记（二）贝尔曼方程/image-1.png 2026/01/04/强化学习笔记（二）贝尔曼方程/image-1.png2026/01/04/强化学习学习笔记（二）贝尔曼方程/image-1.png renamed to 2026/01/04/强化学习笔记（二）贝尔曼方程/image-1.png

@@ -21,23 +21,23 @@
 
     <meta name="description" content="策略评估的方式 如何不断的改进策略？用什么来评估：答案是基于return进行评估。 return是一条控制轨迹能够获得的奖励或折扣奖励的和，能够用来评估当前状态的价值。 状态的价值 举个例子，在Grid机器人里，现在有3条路径：  路径1：智能体从S1到S3，奖励是0，从S3到S4，奖励是1，呆在S4，一直有奖励1. 路径2：智能体从S1到S2，奖励是-1，从S2到S4，奖励是1，呆在">
 <meta property="og:type" content="article">
-<meta property="og:title" content="强化学习学习笔记（二）贝尔曼方程">
-<meta property="og:url" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/index.html">
+<meta property="og:title" content="强化学习笔记（二）贝尔曼方程">
+<meta property="og:url" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/index.html">
 <meta property="og:site_name" content="Run&#39;s Studio">
 <meta property="og:description" content="策略评估的方式 如何不断的改进策略？用什么来评估：答案是基于return进行评估。 return是一条控制轨迹能够获得的奖励或折扣奖励的和，能够用来评估当前状态的价值。 状态的价值 举个例子，在Grid机器人里，现在有3条路径：  路径1：智能体从S1到S3，奖励是0，从S3到S4，奖励是1，呆在S4，一直有奖励1. 路径2：智能体从S1到S2，奖励是-1，从S2到S4，奖励是1，呆在">
 <meta property="og:locale" content="zh_CN">
-<meta property="og:image" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/image.png">
-<meta property="og:image" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/image-1.png">
-<meta property="og:image" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/image-3.png">
+<meta property="og:image" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/image.png">
+<meta property="og:image" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/image-1.png">
+<meta property="og:image" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/image-3.png">
 <meta property="article:published_time" content="2026-01-04T12:10:57.000Z">
-<meta property="article:modified_time" content="2026-01-04T13:06:25.516Z">
+<meta property="article:modified_time" content="2026-02-25T03:17:09.083Z">
 <meta property="article:tag" content="交通">
 <meta name="twitter:card" content="summary_large_image">
-<meta name="twitter:image" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/image.png">
+<meta name="twitter:image" content="https://runsstudio.github.io/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%96%B9%E7%A8%8B/image.png">
 
 
 
-  <title>强化学习学习笔记（二）贝尔曼方程 - Run&#39;s Studio</title>
+  <title>强化学习笔记（二）贝尔曼方程 - Run&#39;s Studio</title>
 
   <link  rel="stylesheet" href="https://lib.baomitu.com/twitter-bootstrap/4.6.1/css/bootstrap.min.css" />
 
@@ -205,7 +205,7 @@
       <div class="banner-text text-center fade-in-up">
         <div class="h2">
 
-            <span id="subtitle" data-typed-text="强化学习学习笔记（二）贝尔曼方程"></span>
+            <span id="subtitle" data-typed-text="强化学习笔记（二）贝尔曼方程"></span>
 
         </div>
 
@@ -276,7 +276,7 @@
       <div class="container nopadding-x-md" id="board-ctn">
         <div id="board">
           <article class="post-content mx-auto">
-            <h1 id="seo-header">强化学习学习笔记（二）贝尔曼方程</h1>
+            <h1 id="seo-header">强化学习笔记（二）贝尔曼方程</h1>
 
 
               <div class="markdown-body">
@@ -410,8 +410,8 @@ <h1 id="状态的价值">状态的价值</h1>
 
   <div class="license-box my-3">
     <div class="license-title">
-      <div>强化学习学习笔记（二）贝尔曼方程</div>
-      <div>https://runsstudio.github.io/2026/01/04/强化学习学习笔记（二）贝尔曼方程/</div>
+      <div>强化学习笔记（二）贝尔曼方程</div>
+      <div>https://runsstudio.github.io/2026/01/04/强化学习笔记（二）贝尔曼方程/</div>
     </div>
     <div class="license-meta">
 
@@ -450,9 +450,9 @@ <h1 id="状态的价值">状态的价值</h1>
                   <article class="post-prev col-6">
 
 
-                      <a href="/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%80%EF%BC%89%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5/" title="强化学习学习笔记（一）基础概念">
+                      <a href="/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%80%EF%BC%89%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5/" title="强化学习笔记（一）基础概念">
                         <i class="iconfont icon-arrowleft"></i>
-                        <span class="hidden-mobile">强化学习学习笔记（一）基础概念</span>
+                        <span class="hidden-mobile">强化学习笔记（一）基础概念</span>
                         <span class="visible-mobile">上一篇</span>
                       </a>
 

2026/01/04/强化学习学习笔记（二）贝尔曼方程/image-2.png 2026/01/04/强化学习笔记（二）贝尔曼方程/image-2.png2026/01/04/强化学习学习笔记（二）贝尔曼方程/image-2.png renamed to 2026/01/04/强化学习笔记（二）贝尔曼方程/image-2.png

@@ -453,18 +453,18 @@ <h2 id="wandb未配置">5.3 wandb未配置</h2>
                   <article class="post-prev col-6">
 
 
-                      <a href="/2026/01/19/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%89%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%9C%80%E4%BC%98%E6%96%B9%E7%A8%8B/" title="强化学习学习笔记（三）贝尔曼最优方程">
+                      <a href="/2026/01/19/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%89%EF%BC%89%E8%B4%9D%E5%B0%94%E6%9B%BC%E6%9C%80%E4%BC%98%E6%96%B9%E7%A8%8B/" title="强化学习笔记（三）贝尔曼最优方程">
                         <i class="iconfont icon-arrowleft"></i>
-                        <span class="hidden-mobile">强化学习学习笔记（三）贝尔曼最优方程</span>
+                        <span class="hidden-mobile">强化学习笔记（三）贝尔曼最优方程</span>
                         <span class="visible-mobile">上一篇</span>
                       </a>
 
                   </article>
                   <article class="post-next col-6">
 
 
-                      <a href="/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%80%EF%BC%89%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5/" title="强化学习学习笔记（一）基础概念">
-                        <span class="hidden-mobile">强化学习学习笔记（一）基础概念</span>
+                      <a href="/2026/01/04/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%80%EF%BC%89%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5/" title="强化学习笔记（一）基础概念">
+                        <span class="hidden-mobile">强化学习笔记（一）基础概念</span>
                         <span class="visible-mobile">下一篇</span>
                         <i class="iconfont icon-arrowright"></i>
                       </a>