Skip to content

Commit 3b47970

Browse files
author
ShellMonster
committed
fix: 将 DOMAIN_RATE_LIMIT_DEFAULT 默认值改为 0
将默认 QPS 限制从 10 改为 0,表示未配置的域名默认不限制。 只有在 DOMAIN_RATE_LIMIT_RULES 中明确配置的域名才会被限制。 修改文件: - feapder/setting.py - feapder/templates/air_spider_template.tmpl - feapder/templates/spider_template.tmpl - feapder/templates/batch_spider_template.tmpl - feapder/templates/task_spider_template.tmpl
1 parent 356d363 commit 3b47970

5 files changed

Lines changed: 5 additions & 5 deletions

File tree

feapder/setting.py

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -230,7 +230,7 @@
230230

231231
# 域名级QPS限制配置
232232
DOMAIN_RATE_LIMIT_ENABLE = False # 是否启用域名级QPS限制,默认关闭
233-
DOMAIN_RATE_LIMIT_DEFAULT = 10 # 默认每个域名的QPS限制(每秒请求数
233+
DOMAIN_RATE_LIMIT_DEFAULT = 0 # 默认不限制(0表示不限制,只有在RULES中配置的域名才会被限制
234234
DOMAIN_RATE_LIMIT_RULES = {} # 特定域名的QPS规则,格式: {"baidu.com": 5, "*.google.com": 8}
235235

236236
############# 导入用户自定义的setting #############

feapder/templates/air_spider_template.tmpl

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -15,7 +15,7 @@ class ${spider_name}(feapder.AirSpider):
1515
# __custom_setting__ = dict(
1616
# # 域名级QPS限制配置(推荐开启)
1717
# DOMAIN_RATE_LIMIT_ENABLE=True, # 是否启用QPS限制
18-
# DOMAIN_RATE_LIMIT_DEFAULT=10, # 默认每个域名10 QPS
18+
# DOMAIN_RATE_LIMIT_DEFAULT=0, # 默认不限制(0表示不限制)
1919
# DOMAIN_RATE_LIMIT_RULES={ # 特定域名的QPS规则
2020
# # "baidu.com": 5, # 百度限制5 QPS
2121
# # "api.example.com": 20, # API接口限制20 QPS

feapder/templates/batch_spider_template.tmpl

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -24,7 +24,7 @@ class ${spider_name}(feapder.BatchSpider):
2424
MYSQL_USER_PASS="",
2525
# 域名级QPS限制配置(可选)
2626
# DOMAIN_RATE_LIMIT_ENABLE=True,
27-
# DOMAIN_RATE_LIMIT_DEFAULT=10,
27+
# DOMAIN_RATE_LIMIT_DEFAULT=0, # 默认不限制
2828
# DOMAIN_RATE_LIMIT_RULES={
2929
# "baidu.com": 5,
3030
# "*.google.com": 8,

feapder/templates/spider_template.tmpl

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -18,7 +18,7 @@ class ${spider_name}(feapder.Spider):
1818
REDISDB_DB=0,
1919
# 域名级QPS限制配置(可选,默认不启用)
2020
# DOMAIN_RATE_LIMIT_ENABLE=True, # 是否启用QPS限制
21-
# DOMAIN_RATE_LIMIT_DEFAULT=10, # 默认每个域名10 QPS
21+
# DOMAIN_RATE_LIMIT_DEFAULT=0, # 默认不限制(0表示不限制)
2222
# DOMAIN_RATE_LIMIT_RULES={ # 特定域名的QPS规则
2323
# "baidu.com": 5, # 百度主域名限制5 QPS
2424
# "api.baidu.com": 20, # 百度API限制20 QPS

feapder/templates/task_spider_template.tmpl

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -24,7 +24,7 @@ class ${spider_name}(feapder.TaskSpider):
2424
MYSQL_USER_PASS="",
2525
# 域名级QPS限制配置(可选)
2626
# DOMAIN_RATE_LIMIT_ENABLE=True,
27-
# DOMAIN_RATE_LIMIT_DEFAULT=10,
27+
# DOMAIN_RATE_LIMIT_DEFAULT=0, # 默认不限制
2828
# DOMAIN_RATE_LIMIT_RULES={
2929
# "baidu.com": 5,
3030
# "*.google.com": 8,

0 commit comments

Comments
 (0)