fix airspider task queue max size bug

Author: Boris-code

feapder/buffer/request_buffer.py

@@ -47,11 +47,11 @@ def is_exist_request(self, request):
             return True
         return False
 
-    def put_request(self, request):
+    def put_request(self, request, ignore_max_size=True):
         if self.is_exist_request(request):
             return
         else:
-            self._db.add(request, ignore_max_size=True)
+            self._db.add(request, ignore_max_size=ignore_max_size)
 
 
 class RequestBuffer(AirSpiderRequestBuffer, threading.Thread):

feapder/core/spiders/air_spider.py

@@ -54,7 +54,7 @@ def distribute_task(self):
                 raise ValueError("仅支持 yield Request")
 
             request.parser_name = request.parser_name or self.name
-            self._request_buffer.put_request(request)
+            self._request_buffer.put_request(request, ignore_max_size=False)
 
     def all_thread_is_done(self):
         for i in range(3):  # 降低偶然性, 因为各个环节不是并发的，很有可能当时状态为假，但检测下一条时该状态为真。一次检测很有可能遇到这种偶然性