从小白到大神之路之学习运维第54天--------ELK日志收集分析

这篇具有很好参考价值的文章主要介绍了从小白到大神之路之学习运维第54天--------ELK日志收集分析。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

第三阶段基础

时  间:2023年7月6日

参加人:全班人员

内  容:

ELK技术堆栈

目录

服务器设置:

部署elasticsearch集群:

配置elasticsearch集群:

配置收集系统日志:


服务器设置:

elk_cluster集群

主机名

huyang1

huyang2

huyang3

IP地址

192.168.59.137

192.168.59.138

192.168.59.140

环境配置:(三台服务器都配置)

1、关闭防火墙

systemctl stop firewalld

iptables -F

setenforce 0

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

2、下载所需要的安装包

如下图:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

3、配置/etc/hosts文件

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

部署elasticsearch集群:

【huayng1配置】

1、安装elasticsearch软件

rpm -ivh elasticsearch-5.5.0.rpm

2.重新识别系统中的服务并且设置为开机自启动

 systemctl daemon-reload

 systemctl enable elasticsearch.service

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

3、修改配置文件

vim /etc/elasticsearch/elasticsearch.yml

配置如下图:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

4、优化运行内存

vim /etc/elasticsearch/jvm.options

配置如下:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

5、创建目录并且把用户和组都改为elasticsearch

 mkdir -p /data/elk_data

 chown elasticsearch:elasticsearch /data/elk_data/

6.启动elasticsearch.服务并且查看端口

 systemctl start elasticsearch.service

 netstat -anpt | grep 9200

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

【huyang2配置】

1、安装elasticsearch软件

rpm -ivh elasticsearch-5.5.0.rpm

2.重新识别系统中的服务并且设置为开机自启动

 systemctl daemon-reload

 systemctl enable elasticsearch.service

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

3、修改配置文件

vim /etc/elasticsearch/elasticsearch.yml

配置如下图:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

4、优化运行内存

vim /etc/elasticsearch/jvm.options

配置如下:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

5、创建目录并且把用户和组都改为elasticsearch

 mkdir -p /data/elk_data

 chown elasticsearch:elasticsearch /data/elk_data/

6.启动elasticsearch.服务并且查看端口

 systemctl start elasticsearch.service

 netstat -anpt | grep 9200

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

【客户端访问】

1、访问节点

 http://192.168.59.137:9200/

 http://192.168.59.138:9200/

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

2、检查集群健康状态为green代表健康

 http://192.168.59.137:9200/_cluster/health?pretty

 http://192.168.59.138:9200/_cluster/health?pretty

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

配置elasticsearch集群:

【huyang1】

1、安装node-v8.2.1-linux-x64

tar xf node-v8.2.1-linux-x64.tar.gz -C

/usr/local/

做链接

 ln -s

/usr/local/node-v8.2.1-linux-x64/bin/node /usr/bin/node

 ln -s

/usr/local/node-v8.2.1-linux-x64/bin/npm /usr/local/bin/

查看版本

node -v

npm -v

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

2、安装elasticsearch-head插件

tar xf elasticsearch-head.tar.gz -C /data/elk_data/

 cd /data/elk_data/

修改用户和组

 chown -R elasticsearch:elasticsearch

elasticsearch-head/

cd到elasticsearch-head/下

cd elasticsearch-head/

安装npm

npm install

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

3、配置_site文件

cd到site/下并且把app.js做个备份然后编辑

cd _site/        

cp app.js{,.bak}  做备份

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

vim app.js

配置如下:(第4329行,改成本机ip)

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

4、启动npm并且启动elasticsearch

npm run start &

systemctl start elasticsearch

netstat -lnpt | grep 9100

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

客户端:访问ip查看节点

  http://192.168.59.137:9100/

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

5、插入数据测试类型为test

 curl -XPUT

'localhost:9200/index-demo/test/1?pretty&pretty' -H 'Content-Type: application/json' -d '{ "user": "zhangsan","mesg":"hello word" }'

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

客户端

刷新http://192.168.59.137:9100/

查看索引,发生了变化

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

6、安装logstash

rpm -ivh logstash-5.5.1.rpm

7、启动logstash服务并且做一个软链接

systemctl start logstash

ln -s /usr/share/logstash/bin/logstash

/usr/local/bin/

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

8、使用logstash将信息写入到elasticsearch中

 logstash -e 'input {stdin{} } output

{  elasticsearch { hosts=>["192.168.59.137:9200"]} }'

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

客户端

刷新http://192.168.59.137:9100/

查看索引,发生了变化

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

配置收集系统日志:

【huyang1】

1、cd到logstash写入配置文件

 cd /etc/logstash/conf.d/

 vim systemc.conf

配置如下:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

2、重启logstash

 systemctl restart logstash

3、加载systemc.conf文件并查看是否到es当中

logstash -f systemc.conf

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

客户端

刷新http://192.168.59.137:9100/

查看索引,发生了变化

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

进入查看数据:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

安装kibana

【huyang1】

1、 rpm -ivh kibana-5.5.1-x86_64.rpm

systemctl enable kibana.service 设置开机自启

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

2、修改配置文件并启动服务

 vim /etc/kibana/kibana.yml

配置如下:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

3、启动服务并且查看端口

systemctl restart kibana.service

netstat -lnpt | grep 5601

logstash -f /etc/logstash/conf.d/system.conf

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

客户端访问:

192.168.59.137:5601

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

创建信息:输入system-,系统日志

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

验  证:

创建成功,这下就可以观察分析系统日志了!

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

安装apache:

【huyang3】

1、下载安装apache

yum -y install httpd

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

2、启动httpd

systemctl start httpd

3、下载安装 logstash-5.5.1.rpm

rpm -ivh logstash-5.5.1.rpm

4、启动服务并做优化

systemctl enable logstash.service

systemctl start  logstash.service

ln -s /usr/share/logstash/bin/logstash

/usr/local/bin/

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

5、修改配置文件

cd到logstash下

cd /etc/logstash/conf.d/

vim huyang3_log.conf

配置如下:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

6、logstash -f huyang3_log.conf //加载文件

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

客户端访问:

192.168.59.140:80

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

而后再访问:

192.168.59.137:9100

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

继续访问:并创建huyang_error

192.168.59.137:5601

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

创建huyang3_access

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat

创建成功,访问:

从小白到大神之路之学习运维第54天--------ELK日志收集分析,运维,学习,tomcat文章来源地址https://www.toymoban.com/news/detail-536006.html

到了这里,关于从小白到大神之路之学习运维第54天--------ELK日志收集分析的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

原文地址:https://blog.csdn.net/2302_77582029/article/details/131585405

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包