Merge branch 'master' into master

Author: Boris-code

docs/question/运行问题.md

@@ -21,7 +21,7 @@
         
     delete_keys为需要删除的key，类型: 元组/bool/string，支持正则; 常用于清空任务队列，否则重启时会断点续爬，如写成`delete_keys=True`也是可以的
 
-1. 手动修改任务分数为小于当前时间搓的分数
+1. 手动修改任务分数为小于当前时间戳的分数
 
     ![-w917](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/11/16154327722622.jpg)
 

docs/source_code/UpdateItem.md

@@ -1,6 +1,6 @@
 # UpdateItem
 
-UpdateItem用于更新数据，继承至Item，所以使用方式基本与Item一致，下载只说不同之处
+UpdateItem用于更新数据，继承至Item，所以使用方式基本与Item一致，下面只说不同之处
 
 ## 更新逻辑
 
@@ -70,4 +70,4 @@ item = item.to_UpdateItem()
 item.update_key = "title"
 ```
 
-**推荐方式1，直接改Item类，不用修改爬虫代码**
+**推荐方式1，直接改Item类，不用修改爬虫代码**

feapder/core/collector.py

@@ -63,7 +63,7 @@ def __input_data(self):
 
         current_timestamp = tools.get_current_timestamp()
 
-        # 取任务，只取当前时间搓以内的任务，同时将任务分数修改为 current_timestamp + setting.REQUEST_LOST_TIMEOUT
+        # 取任务，只取当前时间戳以内的任务，同时将任务分数修改为 current_timestamp + setting.REQUEST_LOST_TIMEOUT
         requests_list = self._db.zrangebyscore_set_score(
             self._tab_requests,
             priority_min="-inf",

feapder/db/mysqldb.py

@@ -41,7 +41,7 @@ def wapper(*args, **kwargs):
 
 class MysqlDB:
     def __init__(
-        self, ip=None, port=None, db=None, user_name=None, user_pass=None, set_session=None, **kwargs
+        self, ip=None, port=None, db=None, user_name=None, user_pass=None, charset="utf8mb4", set_session=None, **kwargs
     ):
         # 可能会改setting中的值，所以此处不能直接赋值为默认值，需要后加载赋值
         if not ip:
@@ -68,7 +68,7 @@ def __init__(
                 user=user_name,
                 passwd=user_pass,
                 db=db,
-                charset="utf8mb4",
+                charset=charset,
                 setsession=set_session,
                 cursorclass=cursors.SSCursor,
                 **kwargs
@@ -85,7 +85,7 @@ def __init__(
             user_pass: {}
             exception: {}
             """.format(
-                    ip, port, db, user_name, user_pass, e
+                    ip, port, db, user_name, user_pass, charset, e
                 )
             )
         else:
@@ -119,7 +119,9 @@ def from_url(cls, url, **kwargs):
             "user_pass": url_parsed.password.strip(),
             "db": url_parsed.path.strip("/").strip(),
         }
-
+        # 解析 query 字符串参数，比如 ?charset=utf8
+        query_params = dict(parse.parse_qsl(url_parsed.query))
+        connect_params.update(query_params)
         connect_params.update(kwargs)
 
         return cls(**connect_params)

feapder/network/item.py

@@ -129,7 +129,7 @@ def fingerprint(self):
         for key, value in self.to_dict.items():
             if value:
                 if (self.unique_key and key in self.unique_key) or not self.unique_key:
-                    args.append(str(value))
+                    args.append(key + str(value))
 
         if args:
             args = sorted(args)

feapder/utils/metrics.py

@@ -427,7 +427,7 @@ def emit_any(
         fields: influxdb的field的字段和值
         classify: 点的类别
         measurement: 存储的表
-        timestamp: 点的时间搓，默认为当前时间
+        timestamp: 点的时间戳，默认为当前时间
 
     Returns:
 
@@ -458,7 +458,7 @@ def emit_counter(
         classify: 点的类别
         tags: influxdb的tag的字段和值
         measurement: 存储的表
-        timestamp: 点的时间搓，默认为当前时间
+        timestamp: 点的时间戳，默认为当前时间
 
     Returns:
 
@@ -489,7 +489,7 @@ def emit_timer(
         classify: 点的类别
         tags: influxdb的tag的字段和值
         measurement: 存储的表
-        timestamp: 点的时间搓，默认为当前时间
+        timestamp: 点的时间戳，默认为当前时间
 
     Returns:
 
@@ -520,7 +520,7 @@ def emit_store(
         classify: 点的类别
         tags: influxdb的tag的字段和值
         measurement: 存储的表
-        timestamp: 点的时间搓，默认为当前时间
+        timestamp: 点的时间戳，默认为当前时间
 
     Returns: