第十二章 elk

1年前作者：添尹分类：Toy博客阅读(8)违法举报

这篇具有很好参考价值的文章主要介绍了第十二章 elk。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、ELK可以帮助我们解决哪些问题

日志分布在多台不同的服务器上，业务一旦出现故障，需要一台台查看日志

单个日志文件巨大，无法使用常用的文本工具分析，检索困难;

2、架构设计分析

第十二章 elk,亿级PV项目开发,elk,php

Filebeat和Logstash

ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash，Beats所占系统的CPU和内存几乎可以忽略不计

架构图解读

第一层、数据采集层

最左边的是业务服务器集群，上面安装了ﬁlebeat做日志采集，同时把采集的日志分别发送给两个logstash服务。

第二层、数据处理层，数据转发层

logstash服务把接受到的日志经过格式处理，转存到ES DataNode。

第三层、数据持久化存储

ES DataNode 会把收到的数据，写磁盘，建索引库。

第四层、数据检索，数据展示

ES Master + Kibana 主要协调ES集群，处理数据检索请求，数据展示。

3、elk实操

IP 角色所属集群

192.168.232.100 业务服务器+ﬁlebeat 业务服务器集群

192.168.232.104 Logstash 数据转发

192.168.232.104 ES DataNode1 Elasticsearch 集群其中的一台机器1

192.168.232.104 ES DataNode2 Elasticsearch 集群其中的一台机器2

192.168.232.104 ES DataNode3 Elasticsearch 集群其中的一台机器3

192.168.232.104 kibana 可视化工具，装到任意一台服务器

第十二章 elk,亿级PV项目开发,elk,php

第十二章 elk,亿级PV项目开发,elk,php

4、 php+kafka+elk架构分析

第十二章 elk,亿级PV项目开发,elk,php

业务场景：

多个线程，同时向同一个日志文件写日志，容易导致日志文件混乱

如果加锁，当日志文件过大时，写入性能是会受到一定的影响

而且生成大量的日志文件需要去维护

具体流程：

1、filebeat会监听收集日志（mysql,ngnix运维日志，服务器的监控日志），并且会推送到logstash。

2、logstash只负责数据格式化，美化数据

3、es负责数据的持久化，存储数据

4、kibana数据可视化

4.1、日志写到日志文件的痛点：

第十二章 elk,亿级PV项目开发,elk,php

4.2、为什么选择kafka，而不是其他同类的消息中间件呢？如下图总结了3点原因：

第十二章 elk,亿级PV项目开发,elk,php

4.3、实操

第十二章 elk,亿级PV项目开发,elk,php

第十二章 elk,亿级PV项目开发,elk,php

第十二章 elk,亿级PV项目开发,elk,php 文章来源地址https://www.toymoban.com/news/detail-539276.html

到了这里，关于第十二章 elk的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

第十二章 kafka
Producer ：Producer即生产者，消息的产生者，是消息的入口。 kafka cluster ： Broker ：Broker是 kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等…… 主
2024年02月13日
浏览(11)
第十二章：泛型（Generic）
目录 12.1：为什么要有泛型？ 12.2：在集合中使用泛型 12.3：自定义泛型结构 12.4：泛型在继承上的体现 12.5：通配符的使用 12.1：为什么要有泛型？泛型：（标签）允许在定义类、接口时候通过一个标识来表示类中某个属性的类型或者是某个方法的返回值及参数类
2024年02月07日
浏览(12)
第十二章Session
注意：前面的Cookie是保存在客户端，而session是在服务端的这里Session与cookie的样式基本一样的下面加一个base标签再次点击，id不变，isNew变为false 30分钟下面这个设置可以改变session的默认时长下面我们设置session的时长（上面是默认时长）本来第二次点击session的创建和获取
2024年01月24日
浏览(15)
第十二章 sys模块
什么是Python 解释器当编写Python 代码时，通常都会得到一个包含Python 代码的以.py 为扩展名的文件。要运行编写的代码，就需要使用Python 解释器去执行.py 文件。因此，Python 解释器就是用来执行Python 代码的一种工具。常见的Python 解释器有以下几种： CPython：Python 的官方解释器
2024年02月09日
浏览(10)
第十二章外观模式
`
2023年04月25日
浏览(8)
【正点原子STM32连载】第十二章 SYSTEM文件夹介绍摘自【正点原子】STM32F103 战舰开发指南V1.2
1）实验平台：正点原子stm32f103战舰开发板V4 2）平台购买地址：https://detail.tmall.com/item.htm?id=609294757420 3）全套实验源码+手册+视频下载地址： http://www.openedv.com/thread-340252-1-1.html SYSTEM文件夹里面的代码由正点原子提供，是STM32F1xx系列的底层核心驱动函数，可以用在STM32F1xx系列的
2024年02月05日
浏览(15)
python 第十二章面向对象
第一章初识python 第二章变量第三章基础语句第四章字符串str 第五章列表list [] 第六章元组tuple ( ) 第七章字典dict {} 第八章集合set {} 第九章常用操作第十章函数第十一章文件操作理解面向对象面向对象是一种抽象化的编程思想，很多编程语言中都有的一种思想。
2024年02月13日
浏览(6)
C国演义 [第十二章]
力扣链接你是一个专业的小偷，计划偷窃沿街的房屋。每间房内都藏有一定的现金，影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统，如果两间相邻的房屋在同一晚上被小偷闯入，系统会自动报警给定一个代表每个房屋存放金额的非负整数数组，计算你
2024年02月17日
浏览(10)
【OpenCV】第十二章: 图像轮廓
第十二章: 图像轮廓图像边缘和图像轮廓的区别前面我们在图像形态学操作里，用cv2.morphologyEx()这个函数实现图像梯度的提取，就是用膨胀图像-腐蚀图像，获取一个图像中前景图像的边缘。还有我们的礼帽黑帽一定程度也能提取图像的边缘信息。我们还在图像梯度里面详细
2024年02月04日
浏览(13)
第十二章 Transform组件（下）
上一章节中我们介绍了Transform组件的属性和方法。我们发现 Transform 中有right，up和forward，而 Vector3 类中也有right，up和forward，他们是一回事嘛？我们使用Forward来说明两者之间的区别。我们知道，改变游戏对象的position位置，就可以形成移动效果。如果我们让游戏对象沿着for
2024年02月01日
浏览(12)