File tree Expand file tree Collapse file tree
Expand file tree Collapse file tree Original file line number Diff line number Diff line change @@ -269,7 +269,8 @@ ssh-keygen -t rsa -C "备注" -f 生成路径/文件名
269269
270270默认的爬虫镜像只打包了` feapder ` 、` scrapy ` 框架,若需要其它环境,可基于` .env ` 文件里的` SPIDER_IMAGE ` 镜像自行构建
271271
272- 如将常用的python库打包到镜像
272+ 如将常用的python库打包到镜像,修改feaplat下的` feapder_dockerfile `
273+
273274```
274275FROM registry.cn-hangzhou.aliyuncs.com/feapderd/feapder:[最新版本号]
275276
@@ -279,8 +280,21 @@ RUN pip3 install feapder \
279280
280281```
281282
282- 自己随便搞事情,搞完修改下 ` .env ` 文件里的 SPIDER_IMAGE 的值即可
283+ 改好后要打包镜像,打包命令:
284+ ```
285+ docker build -f feapder_dockerfile -t 镜像名:版本号 .
286+ ```
287+ 如
288+ ```
289+ docker build -f feapder_dockerfile -t my_feapder:1.0 .
290+ ```
291+
292+ 打包好后修改下 ` .env ` 文件里的 SPIDER_IMAGE 的值即可如:
293+ ```
294+ SPIDER_IMAGE=my_feapder:1.0
295+ ```
283296
297+ 注:若有多个worker服务器,且没将镜像传到镜像服务,则需要手动将镜像推到其他服务器上,否则无法拉取此镜像运行
284298
285299## 价格
286300
Original file line number Diff line number Diff line change @@ -52,8 +52,14 @@ INFLUXDB_PORT_UDP=8089
52521. 查看后端日志,观察报错
5353 1. 若是docker版本问题,参考部署一节安装最新版本,
5454 2. 若是报 `This node is not a swarm manager`,则是部署环境没准备好,执行`docker swarm init`,可参考参考部署一节
55- 2. 查看镜像`docker images`,若不存在爬虫镜像`registry.cn-hangzhou.aliyuncs.com/feapderd/feapder`,可能自动拉取失败了,可手动拉取,拉取命令:`docker pull registry.cn-hangzhou.aliyuncs.com/feapderd/feapder:版本号`,版本号在`.env`里查看
56- 3. 重启docker服务,Centos对应的命令为:`service docker restart`,其他自行查资料
55+ 2. 查看worker状态:
56+ ```
57+ docker service ps task_任务id --no-trunc
58+ ```
59+ 看看error信息
60+
61+ 4. 查看镜像`docker images`,若不存在爬虫镜像`registry.cn-hangzhou.aliyuncs.com/feapderd/feapder`,可能自动拉取失败了,可手动拉取,拉取命令:`docker pull registry.cn-hangzhou.aliyuncs.com/feapderd/feapder:版本号`,版本号在`.env`里查看
62+ 5. 重启docker服务,Centos对应的命令为:`service docker restart`,其他自行查资料
5763
5864## 依赖包安装失败,可手动安装包
5965
You can’t perform that action at this time.
0 commit comments