File tree Expand file tree Collapse file tree
Expand file tree Collapse file tree Original file line number Diff line number Diff line change 1- 用java版本重写logstash目的是提升性能,跟ruby logstash 对比 请看 https://github.com/DTStack/jlogstash-performance-testing
1+ #说明:
2+ 用java版本重写logstash目的是提升性能,跟ruby logstash 对比 请看 https://github.com/DTStack/jlogstash-performance-testing
23
3- 不同的业务,性能会有所不同,dtstack 后台日志解析 java 版本是ruby版本的5倍,在单台4g 4cores 虚拟机上。
4+ 不同的业务,性能会有所不同,dtstack 后台日志解析 java 版本是ruby版本的5倍,在单台4g 4cores 虚拟机上。
45
5- jlogstash 的参数配置和使用看wiki介绍,现在的插件跟ruby版本相比还太少,希望更多的人参与开发。
6+ jlogstash 的参数配置和使用看wiki介绍,现在的插件跟ruby版本相比还太少,希望更多的人参与开发。
7+
8+ 各个插件代码在jlogstash-input-plugin,jlogstash-output-plugin,jlogstash-filter-plugin。
9+
10+
11+
12+ #现在已有的公共插件:
13+
14+ ##inputs:
15+ Kafka:
16+
17+ Stdin:
18+
19+ Tcp(mina实现):
20+
21+ Netty(netty 实现):
22+
23+ Beats:
24+
25+ File:
26+
27+ ##filters:
28+ Add:
29+
30+ DateISO8601:
31+
32+ IpIp:
33+
34+ Grok:
35+
36+ Gsub:
37+
38+ Json:
39+
40+ KV:
41+
42+ Lowercase:
43+
44+ Remove:
45+
46+ Rename:
47+
48+ Replace:
49+
50+ Trim:
51+
52+ UA:
53+
54+ Uppercase:
55+
56+ URLDecode:
57+
58+
59+ ##outputs:
60+ Elasticsearch5:
61+
62+ Elasticsearch:
63+
64+ File:
65+
66+ Kafka:
67+
68+ Netty:
69+
70+ Performance:
71+ 记录一段时间内处理的记录数
72+
73+ Stdout:
74+
75+ #jar放置目录(编译的jar必须要有版本号 ):
76+
77+ jlogstash 核心代码放在jlogstash/lib/下
78+
79+ 插件的代码分别的放到jlogstash/plugin 下的filter,input,output目录下
80+
81+ #jlogstash 启动参数:
82+
83+ -f:配置文件 yaml格式路径
84+
85+ -l:日志文件路径
86+
87+ -i: input queue size coefficient 默认 200f/1024
88+
89+ -w: filter work number 默认是根据的机器cpu核数+2
90+
91+ -o: output work number 默认是根据的机器cpu核数
92+
93+ -c: output queue size coefficient 默认 500f/1024
94+
95+ -v: info级别
96+
97+ -vv: debug 级别
98+
99+ -vvv: trace 级别
6100
7- 各个插件代码在jlogstash-input-plugin,jlogstash-output-plugin,jlogstash-filter-plugin。
8101
You can’t perform that action at this time.
0 commit comments