44
55[ ![ ] ( https://img.shields.io/github/release/qwqcode/Nacollector.svg?style=flat-square )] ( https://github.com/qwqcode/Nacollector/releases/latest ) ![ ] ( https://img.shields.io/badge/NET-%3E%3D%204.6.2-green.svg?style=flat-square ) [ ![ ] ( https://img.shields.io/github/downloads/qwqcode/Nacollector/total.svg?style=flat-square )] ( https://github.com/qwqcode/Nacollector/releases ) [ ![ ] ( https://img.shields.io/github/last-commit/qwqcode/Nacollector.svg?style=flat-square )] ( https://github.com/qwqcode/Nacollector/commits ) [ ![ ] ( https://img.shields.io/github/issues/qwqcode/Nacollector.svg?style=flat-square )] ( https://github.com/qwqcode/Nacollector/issues ) [ ![ ] ( https://img.shields.io/github/issues-pr/qwqcode/Nacollector.svg?style=flat-square )] ( https://github.com/qwqcode/Nacollector/pulls ) [ ![ ] ( https://img.shields.io/gitter/room/qwqcode/Nacollector.svg?style=flat-square )] ( https://gitter.im/Nacollector/community ) [ ![ ] ( https://img.shields.io/badge/%24-donate-ff69b4.svg?style=flat-square )] ( https://github.com/qwqcode/donate-qwqaq )
66
7- > Nacollector 可以说是一个用于采集各种 WEB 资源的工作站?! #(滑稽)
8-
9- 注:在使用 Nacollector 前,请仔细阅读[ 《Nacollector 用户使用许可协议》] ( ./LICENSE )
10-
11- #### 特性
12- - Material Design
13- - [ CefSharp] ( https://github.com/cefsharp/CefSharp ) 嵌入 Chromium,用 HTML/CSS/JS 制作前端 Ui
14- - 前后端分离,[ NacollectorFrontend] ( https://github.com/qwqcode/NacollectorFrontend )
15- - 前端 Console 实时采集日志
16- - 多任务管理器,多个采集任务同时进行
17- - 下载内容管理器,具有和 Chrome 一样的功能
18- - Cookie 获取器(可手动导入 Cookie,自动填充,Cookie 记录,正则表达式配置规则)
19- - 多线程异步采集实例
20- - 资源快速预览
21- - 支持使用代理
22- - 在线/离线 自动更新
23- - 以及更多...
24-
25- #### Features
26- - Material Design
27- - [ CefSharp] ( https://github.com/cefsharp/CefSharp ) embed Chromium in the .NET app to use JS/HTML/CSS as Front-end UI
28- - Separate Front-end and Back-end, [ see NacollectorFrontend] ( https://github.com/qwqcode/NacollectorFrontend )
29- - Real-time collection logs in the Front-end Console
30- - Multitasking Manager to manage multiple collection tasks
31- - Download Content Manager like chrome browser
32- - Cookie getter (manually import cookies, input auto-complete, keep cookies fresh longer, using regular expressions)
33- - Multiple Async Tasks example
34- - Resources Preview
35- - Support for using proxy
36- - Automatically update online/offline
37- - And more...
38-
39- #### Requirements
40- - NET >= 4.6.2
41- - [ CefSharp] ( https://github.com/cefsharp/CefSharp )
42- - [ CsQuery] ( https://github.com/jamietre/CsQuery )
43- - Selenium.WebDriver
7+ ** Nacollector:一款高效便捷的采集器聚合客户端**
8+
9+ 旨在采集各类网络资源,为数据处理提供丰富支持,使繁杂的采集任务得以轻松且高效地完成。
10+
11+ Nacollector 提供了一套从用户界面到采集器功能的开发一体化解决方案,助你快速开发和定制专属的数据采集工作流程。
4412
45- #### 功能
13+ ## 特性
14+
15+ - ** 友好的用户界面** :通过 Web 技术构建用户界面,基于 [ CefSharp] ( https://github.com/cefsharp/CefSharp ) 嵌入 Chromium 浏览器,实现浏览器的集成和定制,满足采集器的开发需求。
16+ - ** 丰富的 C# 生态系统** :无缝接入 C# 开发者生态系统,支持 .NET 及系统 API 调用,为采集器开发提供丰富支持。
17+ - ** 终端窗口及日志管理** :提供日志 API,实时跟踪和管理采集任务的运行状态与异常。
18+ - ** 多任务并行处理能力** :支持多任务管理,可同时运行多个采集任务异步执行,提高工作效率。
19+ - ** 下载资源管理器** :内置下载管理,便于保存和整理采集的资源。
20+ - ** 完善的 Cookie 管理** :可以手动导入、自动填充、保存 Cookie,支持正则表达式匹配规则,便于处理需要登录的网站。
21+ - ** 数据本地离线储存** :隐私至上,采集数据本地管理、离线保存,安全可靠。
22+ - ** 多类型资源预览** :快速预览图片、视频、音频、文本等资源,便于检查采集结果。
23+ - ** 任务配置界面(启动台)** :提供界面配置采集任务参数,便于启动和管理任务。
24+ - ** 灵活网络连接管理** :支持设置代理,适应不同网络环境。
25+ - ** 升级机制及版本管理** :支持在线和离线更新软件版本,为软件快速升级迭代提供支持。
26+ - ** 可扩展设计** :采用模块化设计,可通过插件添加新功能。
27+ - ** 清晰的界面布局** :使用 Material Design 设计风格,界面简单易用。
28+ - ** 电商数据采集** :针对电商平台采集的商品信息优化,例如获取商品详情、价格、库存、评价等数据。
29+
30+ ## 内置采集器
31+
32+ 采集器代码存储于 ` NacollectorSpiders ` 目录下,目前支持的采集器有:
33+
34+ ** 电商采集功能**
4635
4736- 商品详情页图片解析
4837 - 支持网站: 淘宝、天猫、苏宁、国美
5645- 天猫供销平台分销商一键邀请
5746 - 支持卖家账号登录 得到 Cookie(也可以手动输入 Cookie 字符串)
5847- 天猫供销平台分销商一键撤回
59- - 将来会有更多功能,随缘更新
48+
49+ ** 资讯采集器**
50+
51+ - 新闻资讯采集
52+ - 支持网站:新浪新闻、腾讯新闻、网易新闻、搜狐新闻、百度新闻、知乎文章、推酷、简书、博客园文章
53+
54+ ** 图片采集器**
55+
56+ - 通用图片采集工具
57+ - 提供 Chrome 插件采集图片(仿花瓣、堆糖)
58+ - 新浪微博图片采集
59+ - Pinterest 图片采集
60+
61+ ** 小说采集器**
62+
63+ - 小说采集
64+ - 支持网站:起点中文网、晋江文学城、纵横中文网
65+
66+ ** 视频采集器**
67+
68+ - 优酷视频采集
69+ - YouTube 视频采集
70+
71+ > 注:采集器仅供学习交流使用,请合理使用并尊重版权。
72+
73+ ## 技术特点
74+
75+ 本项目基于 ** C# + CefSharp** ,通过嵌入 Chromium 实现了浏览器的集成和定制开发。与 Electron.js 相比,Nacollector 在以下方面具有一些优势:
76+
77+ - ** .NET 集成** :拥有丰富的 C# 开发者生态系统,与现有 C# 项目自然配合。
78+ - ** 轻量快速** :Nacollector 启动速度快,内存占用低,同时无需依赖 Node.js 环境。
79+ - ** 系统调用** :轻松调用操作系统 API,访问系统资源,方便开发者进行功能扩展。
80+ - ** 浏览器定制** :可深度定制 Chromium 功能,灵活满足多样化的业务需求。
81+
82+ ## 软件截图
83+
84+ | 主界面 | 终端界面 |
85+ | -| -|
86+ | <img width =" 350 " src =" ./docs/screenshots/home.png " > | <img width =" 350 " src =" ./docs/screenshots/terminal.png " > |
87+
88+ | 终端日志 1 | 终端日志 2 |
89+ | -| -|
90+ | <img width =" 350 " src =" ./docs/screenshots/terminal1.png " > | <img width =" 350 " src =" ./docs/screenshots/terminal2.png " > |
91+
92+ | 终端日志 3 | 终端日志 4 |
93+ | -| -|
94+ | <img width =" 350 " src =" ./docs/screenshots/terminal3.png " > | <img width =" 350 " src =" ./docs/screenshots/terminal4.png " > |
95+
96+ | 终端日志 5 | 终端日志 6 |
97+ | -| -|
98+ | <img width =" 350 " src =" ./docs/screenshots/terminal5.png " > | <img width =" 350 " src =" ./docs/screenshots/terminal6.png " > |
99+
100+ | 操作演示 | Cookie 获取器 |
101+ | -| -|
102+ | <img width =" 350 " src =" ./docs/screenshots/action.gif " > | <img width =" 350 " src =" ./docs/screenshots/cookie_getter.png " > |
103+
104+ | 多任务管理 | 下载管理 1 |
105+ | -| -|
106+ | <img width =" 350 " src =" ./docs/screenshots/tasks.png " > | <img width =" 350 " src =" ./docs/screenshots/downloading.png " > |
107+
108+ | 下载管理 2 | 设置界面 |
109+ | -| -|
110+ | <img width =" 350 " src =" ./docs/screenshots/downloading1.png " > | <img width =" 350 " src =" ./docs/screenshots/settings.png " > |
111+
112+ | 安装程序 1 | 安装程序 2 |
113+ | -| -|
114+ | <img width =" 350 " src =" ./docs/screenshots/installer.png " > | <img width =" 350 " src =" ./docs/screenshots/installer-2.png " > |
115+
116+ | 软件更新视频演示 | 软件更新界面 |
117+ | -| -|
118+ | <video width =" 350 " src =" https://github.com/user-attachments/assets/a683e83e-fcab-4d78-bb1d-5bba8d057d46 " controls autoplay loop ></video > | <img width =" 350 " src =" ./docs/screenshots/updater.png " > |
119+
120+ | 程序安装演示视频 |
121+ | -|
122+ | <video width =" 600 " src =" https://github.com/user-attachments/assets/5eb3f08e-9cef-4100-9a5f-0aadf26d186e " controls autoplay loop ></video > |
123+
124+ ## Stargazers over time
125+
126+ [ ![ Stargazers over time] ( https://starchart.cc/qwqcode/Nacollector.svg )] ( https://starchart.cc/qwqcode/Nacollector )
60127
61128## Development
62129
63- #### Get the sources
130+ ### Dependencies
131+ - NET >= 4.6.2
132+ - [ CefSharp] ( https://github.com/cefsharp/CefSharp )
133+ - [ CsQuery] ( https://github.com/jamietre/CsQuery )
134+ - Selenium.WebDriver
64135
136+ ### Get the sources
65137
66138In order to make development easier, the frontend is included in the backend as a [ git submodule] ( https://git-scm.com/book/en/v2/Git-Tools-Submodules ) .
67139
@@ -73,7 +145,7 @@ git clone --recurse-submodules https://github.com/qwqcode/Nacollector.git
73145
74146> NOTE: since it is a submodule, when developing the frontend remember to update the backend repo accordingly.
75147
76- #### Quick Start
148+ ### Quick Start
77149
78150``` bash
79151# 1. clone
@@ -89,40 +161,8 @@ cp ./Nacollector/GlobalConstant.cs.example ./Nacollector/GlobalConstant.cs
89161start Nacollector.sln
90162```
91163
92- ## Donate
93- 如果您觉得我的项目对您有帮助,并且您愿意给予我一点小小的支持,您可以通过以下方式向我捐赠,这样可以维持项目持续地发展,非常感谢!ヽ(•̀ω•́ )ゝ
164+ ## 版权声明
94165
95- If you are enjoying this app, please consider making a donation to keep it alive.
96-
97- | Alipay | Wechat |
98- | :------: | :------: |
99- | <img width =" 150 " src =" ./docs/donate/alipay.png " > | <img width =" 150 " src =" ./docs/donate/wechat.png " > |
100-
101- 捐赠者的名字将保存于 [ 捐赠者列表] ( https://github.com/qwqcode/donate-qwqaq ) ,非常感谢你们的支持
102-
103- ## License
104-
105- 请务必仔细阅读 [ 《Nacollector 用户使用许可协议》] ( ./LICENSE )
166+ 仅限个人学习使用,禁止商业用途。请阅读 [ 《Nacollector 用户使用许可协议》] ( ./LICENSE ) 。
106167
107168[ Nacollector] ( https://github.com/qwqcode/Nacollector ) Copyright (C) 2018 [ qwqaq.com] ( https://qwqaq.com )
108-
109- 禁止擅自以任何收费形式盈利,禁止擅自修改版权信息,侵权必究!
110-
111- ## Screenshots
112- <p align =" center " >
113- <img src =" ./docs/screenshots/home.png " >
114- <img src =" ./docs/screenshots/terminal.png " >
115- <img src =" ./docs/screenshots/terminal1.png " >
116- <img src =" ./docs/screenshots/terminal2.png " >
117- <img src =" ./docs/screenshots/terminal3.png " >
118- <img src =" ./docs/screenshots/terminal4.png " >
119- <img src =" ./docs/screenshots/terminal5.png " >
120- <img src =" ./docs/screenshots/terminal6.png " >
121- <img src =" ./docs/screenshots/action.gif " >
122- <img src =" ./docs/screenshots/cookie_getter.png " >
123- <img src =" ./docs/screenshots/tasks.png " >
124- <img src =" ./docs/screenshots/downloading.png " >
125- <img src =" ./docs/screenshots/downloading1.png " >
126- <img src =" ./docs/screenshots/settings.png " >
127- <img src =" ./docs/screenshots/panel.gif " >
128- </p >
0 commit comments