feat: CSV Pipeline 支持自定义保存路径

- 新增 CSV_EXPORT_PATH 配置项，支持相对路径和绝对路径
- 修改 CsvPipeline.__init__ 方法，从配置文件读取路径
- 使用 os.path.abspath 统一处理路径，自动转换为绝对路径
- 更新文档，添加路径配置说明
- 默认值保持不变（data/csv），保持向后兼容

Author: ShellMonster

docs/csv_pipeline.md

@@ -10,7 +10,20 @@ Email: ctrlf4@yeah.net
 
 ## 快速开始
 
-### 1. 启用 CSV Pipeline
+### 1. 配置 CSV 保存路径（可选）
+
+在 `feapder/setting.py` 或项目的 `setting.py` 中配置：
+
+```python
+# CSV 文件保存路径
+CSV_EXPORT_PATH = "data/csv"  # 相对路径（默认）
+# 或
+CSV_EXPORT_PATH = "/Users/xxx/exports/csv"  # 绝对路径
+```
+
+如果不设置，默认使用 `data/csv`（相对于运行目录）。
+
+### 2. 启用 CSV Pipeline
 
 在 `feapder/setting.py` 中的 `ITEM_PIPELINES` 中添加 `CsvPipeline`：
 
@@ -22,7 +35,7 @@ ITEM_PIPELINES = [
 ]
 ```
 
-### 2. 定义数据项
+### 3. 定义数据项
 
 ```python
 from feapder.network.item import Item
@@ -34,7 +47,7 @@ class ProductItem(Item):
         pass
 ```
 
-### 3. 在爬虫中使用
+### 4. 在爬虫中使用
 
 ```python
 import feapder
@@ -49,7 +62,7 @@ class MySpider(feapder.AirSpider):
         yield item  # 自动保存为 CSV
 ```
 
-### 4. 查看输出
+### 5. 查看输出
 
 爬虫运行后，CSV 文件会保存在 `data/csv/` 目录下：
 

feapder/pipelines/csv_pipeline.py

@@ -38,15 +38,25 @@ class CsvPipeline(BasePipeline):
     # 确保跨批次、跨线程的字段顺序一致
     _table_fieldnames = {}
 
-    def __init__(self, csv_dir="data/csv"):
+    def __init__(self, csv_dir=None):
         """
         初始化CSV Pipeline
 
         Args:
-            csv_dir: CSV文件保存目录，默认为 data/csv
+            csv_dir: CSV文件保存目录
+                    - 如果不传，从 setting.CSV_EXPORT_PATH 读取
+                    - 支持相对路径（如 "data/csv"）
+                    - 支持绝对路径（如 "/Users/xxx/exports/csv"）
         """
         super().__init__()
-        self.csv_dir = csv_dir
+
+        # 如果未传入参数，从配置文件读取
+        if csv_dir is None:
+            import feapder.setting as setting
+            csv_dir = setting.CSV_EXPORT_PATH
+
+        # 支持绝对路径和相对路径，统一转换为绝对路径
+        self.csv_dir = os.path.abspath(csv_dir)
         self._ensure_csv_dir_exists()
 
     def _ensure_csv_dir_exists(self):

feapder/setting.py

@@ -49,6 +49,11 @@
 EXPORT_DATA_MAX_FAILED_TIMES = 10  # 导出数据时最大的失败次数，包括保存和更新，超过这个次数报警
 EXPORT_DATA_MAX_RETRY_TIMES = 10  # 导出数据时最大的重试次数，包括保存和更新，超过这个次数则放弃重试
 
+# CSV Pipeline 配置
+CSV_EXPORT_PATH = "data/csv"  # CSV文件保存路径，支持相对路径和绝对路径
+                               # 相对路径：相对于运行目录（如 "data/csv"）
+                               # 绝对路径：完整路径（如 "/Users/xxx/exports/csv"）
+
 # 爬虫相关
 # COLLECTOR
 COLLECTOR_TASK_COUNT = 32  # 每次获取任务数量，追求速度推荐32