CentOS下ELK的搭建_每天攀登一点点的博客-CSDN博客_elk centos 知识图谱

CentOS下ELK的搭建_每天攀登一点点的博客-CSDN博客_elk centos

本站和网页 https://blog.csdn.net/whg18526080015/article/details/73571730 的作者无关，不对其内容负责。快照谨为网络故障时之索引，不代表被搜索网站的即时页面。

CentOS下ELK的搭建_每天攀登一点点的博客-CSDN博客_elk centos
CentOS下ELK的搭建
每天攀登一点点
于 2017-06-22 11:31:01 发布
1962
收藏
分类专栏：
ELK
文章标签：
ELK
Linux
centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whg18526080015/article/details/73571730
版权
ELK
专栏收录该内容
3 篇文章
0 订阅
订阅专栏
前言：
此文适合刚接触ELK的同仁，笔者在搭建过程中跳了不少坑，在此总结出来，希望能帮到大家。
背景：
ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Logstash: logstash server端用来搜集日志； Elasticsearch: 存储各类日志； Kibana: web化接口用作查寻和可视化日志；
Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server；
1.安装JDK
1.1下载地址
本人安装jdk-8u131-linux-x64。地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下载完成后，在CentOS服务器上解压缩：tar xvzf jdk-8u131-linux-x64.tar.gz -C /usr/lib/jvm/
1.2配置环境变量
第一种：
vim ~/.bashrc，再文档最下部分添加：
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:/sbin:/usr/bin:/usr/sbin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export JRE_HOME
export PATH
export CLASSPATH
执行：source ~/.bashrc，使bashrc文件生效。执行java -version和java，有相应数据则安装成功。
第二种（笔者采用的第二种）：
vim /etc/profile，再文档最下部分添加：
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:/sbin:/usr/bin:/usr/sbin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export JRE_HOME
export PATH
export CLASSPATH
执行：source /etc/profile
，使profile
文件生效。
执行java -version和java，有相应数据则安装成功。
2.安装ELK
2.1下载ELK
考虑到不是所有的服务器都具备网络环境，笔者这里自行下载。地址https://www.elastic.co/downloads/
下载完成之后，FTP上传到服务器上，笔者放到/elk文件夹下，依次解压缩，如图所示，由上到下分别为解压缩后的elasticsearch、kibana、logstash和3者的安装包。。

2.2启动elasticsearch
2.2.1修改elasticsearch.yml内容
进入elasticsearch/config文件夹，修改elasticsearch.yml文件，修改增加以下内容：
path.data: /elk/elasticsearch/data
path.logs: /elk/elasticsearch/logs
network.host: 10.8.120.37
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
2.2.2新建用户
注意：elasticsearch不能再root用户下启动，应新建普通用户如“elk”，并将总目录elk的操作权限赋给elk用户：
useradd elk
passwd elk 12345679
chown -R elk:12345679 /elk
2.2.3进入普通用户启动elasticsearch
su elk
cd /elk/elasticsearch
./bin/elasticsearch -d
浏览器输入http://ip:9200，当有以下效果时，说明elasticsearch启动成功！
启动过程中的一些错误：
1.启动报错access denied (javax.management.MBeanTrustPermission register)
方法：修改jre/lib/security/java.policy文件，在grant尾部加入permission javax.management.MBeanTrustPermission "register";
2.启动报错max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 方法1：root身份下->sudo sysctl -w vm.max_map_count=262144，sysctl -a|grep vm.max_map_count，可以临时修改
方法2：root身份下->vm.max_map_count=262144直接写到/etc/sysctl.conf中,然后执行sysctl -p，达到永久修改
3.启动报错max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536] 方法1：root身份下->vi /etc/security/limits.conf，* soft nofile 65536，* hard nofile 131072，* soft nproc 2048，* hard nproc 4096
2.3启动logstash
编写配置文件（名字和位置自定义即可，启动时需要指定），笔者放在config目录下，取名为screen_to_es.conf，内容如下
input {
stdin{
output {
elasticsearch {
hosts => "10.8.120.37:9200"
index => "logstash-%{+YYYY.MM.dd}"
启动logstash,-e:意即执行,--config或-f:意即文件执行。
cd /elk/logstash
./bin/logstash -f config/screen_to_es.conf
之后在屏幕上输入的内容将在kibana界面展示出来，具体见下文Kibana使用教程。
2.3.1 Logstash联动Kafka
由logstash输入，发送至kafka。建立logstash_to_kafka.conf，内容如下
input{
stdin{}
output{
kafka{
topic_id => "test"
bootstrap_servers => "10.8.120.25:9092" # kafka的地址
batch_size => 5
stdout{
codec => rubydebug
启动logstash
cd /elk/logstash
./bin/logstash -f config/logstash_to_kafka.conf
利用logstash从kafka读数据。建立kafka_to_logstash.conf，内容如下
input{
kafka {
codec => "plain"
group_id => "logstash"
auto_offset_reset => "smallest"
reset_beginning => true
topic_id => "test"
zk_connect => "10.8.120.25:2181" # zookeeper的地址
output{
elasticsearch {
hosts => "10.8.120.37:9200"
index => "logstash-%{+YYYY.MM.dd}"
启动logstash
cd /elk/logstash
./bin/logstash -f config/kafka_to_logstash.conf
2.3.2 Logstash联动Kafka 这里有个坑，这里有个坑，这里有个坑，笔者跳的很深！
logstash从kafka读数据时，跟版本有很大关系，具体如下
所以当版不对应时，建议换方案实施。笔者用的是kafka_2.9.1-0.8.2.1和logstash-5.4.1，于是带来了深深的问题，因为kafka在生产系统，所以只能降logstash的版本，最终降为logstash-2.3.4。不同版本从kafka取消息的配置文件是不同的，这里笔者分别给出5.xx和两2.xx两个版本的配置文件内容。
logstash-5.4.1版本配置
input{
kafka {
bootstrap_servers => ["10.8.120.25:9092"]
topics => ["test"]
group_id => "logstash"
codec => "json"
consumer_threads =>2
decorate_events => true
output {
elasticsearch {
hosts => ["10.8.120.37:9200"]
index => "logstash-%{+YYYY.MM.dd}"
logstash-2.3.4版本配置
input{
kafka {
codec => "plain"
group_id => "logstash"
auto_offset_reset => "smallest"
reset_beginning => true
topic_id => "test"
zk_connect => "10.8.120.25:2181" # zookeeper的地址
output{
elasticsearch {
hosts => "10.8.120.37:9200"
index => "logstash-%{+YYYY.MM.dd}"
1对多：如果一个logstash同时取多个topic，运行logstash时，以config为条件运行即可，在config目录下写多个.conf文件，logstash会自动将之融合成一个大的条件。
./bin/logstash -f config
多对1：如果多个logstash同时取一个topic时，需要明确的是topic的一个分区只能被一个消费者组消费，所以对topic指向不同的分区即可。
2.4启动kibana
进入/elk/kibana/config目录，修改kibana.yml文件
server.port: 5601
server.host: "10.8.120.37"
kibana.index: ".kibana"
elasticsearch.url: "http://10.8.120.37:9200"
启动kibaba：
cd /elk/kibana
./bin/kibana
浏览器输入http://ip:5601，当有以下效果时说明kibana启动成功
3.在Kibana中查看日志
1.输入http://ip:5601进入kibana主界面。
2.进入Management管理页，点击Index Patterns索引模式。
3.默认索引为“logstash-*”，如果建立了自己的索引，可以在此输入，然后回车建立。
4.笔者这里用的默认索引，建立后如果出现这个界面，则说明你的日志收集成功了（如果未出现这个页面，请自行找一下问题的出处，logstash-elasticsearch）。
5.此时，进入Discover发现页面，即可找到自己的日志。
总结：
本文由笔者自行编写，如有错误的地方，还请诸位同仁指正。
祝大家学业进步，事业有成！
每天攀登一点点
关注
关注
点赞
收藏
打赏
评论
CentOS下ELK的搭建
JDK安装教程ELK下载安装教程Kibana使用教程
复制链接
扫一扫
专栏目录
Centos7下搭建ELK日志分析系统
11-02
本文档记录了个人在centos7环境下搭建ELK日志分析系统的步骤及遇到的问题、处理记录。明细罗列了本次搭建的系统环境和软件版本，操作系统为centos7.6,elk对应版本为7.9.3, redis版本为6.0.6。受限于更明细的环境差别，安装过程中报错可能不尽相同，主要记录了ELK各组件软件的安装步骤，供各位有需要的人参考！！！
centos8 ELK安装步骤以及相关注意点
05-22
CentOS 8 安装ELK 7.x
本次示例使用的是阿里云的机器，系统CentOS8
常见的问题的原因以及处理
参与评论
您还未登录，请先
登录
后发表或查看评论
ELK centos部署记录【简要流程】
最新发布
Toy_IHere的博客
11-19
529
ELK 8.1.3 版本安装记录
ELK搭建以及介绍
m0_47944994的博客
10-27
330
ELK搭建以及介绍
centos 7搭建ELK日志分析系统
:Struggle.
12-23
402
一、ELK的组成
ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成，其官方网站为https://www.elastic.co/cn
Elasticsearch：是个开源分布实时分析搜索引擎，建立在全文搜索引擎库Apache Lucens基础上，同时隐藏了Apache Luces的复杂性。Elasticsearch将所有的功能打包成一个独立的服务，并提供了一...
ELK环境搭建
weixin_30432007的博客
12-21
244
ELK环境搭建1. Virtualbox/Vagrant安装 41.1. Virtualbox安装 41.2. Vagrant安装 41.2.1. 简述 41.2.2. Vagrant box 41.2.3. 安装配置 51.2.4. 常用命令 62. ELK安装 62.1. CentOS7系统配置 62.1.1. 安装iptables 62.1.2. 安装ifco...
ELK搭建教程(全过程)
热门推荐
谷神通
11-07
8万+
1.服务器
使用阿里云服务器(方便)，抢占式实例(便宜)，4核16G，系统选择centos7.4/64位(好用)。购买地址：https://ecs-buy.aliyun.com/
我们只是测试学习使用，把端口权限全开就行(不然外网访问不了)，安全组配置那里添加如下：
2.下载ELK的包：
下载地址：https://www.elastic.co/downloads
下载最新版的、l...
Centos7下部署ELK
三丁儿的博客
02-26
497
1.ELK安装
1.1.CentOS7系统配置
关闭防火墙
[root@localhost ~]# systemctl stop firewalld
安装netstat方便以后使用
[root@localhost ~]# yum -y install net-tools wget gcc gcc-c++
安装JDK
[root@localhost home]# tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/local/
[root@localhost ~]#
centos上搭建基础elk系统
村中少年的专栏
01-27
1064
介绍centos 7 上面基本elk系统的搭建
CentOS部署ELK
weixin_40133285的博客
01-06
1314
CentOS部署ELK
http://mirrors.neusoft.edu.cn/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso
1.sudo /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf提示Logstash could not be started because there is already another instan
elasticvue
centos7搭建elk
congge
09-04
4万+
centos7 搭建elk
centos搭建单机版elk
梦殇王子的博客
12-31
889
el
centos 7 elk安装与搭建
qq_40907977的博客
06-07
549
systemctl set-default multi-user.target //设置默认的target
[root@hf system]# systemctl set-default multi-user.target
Removed symlink /etc/systemd/system/default.target.
Created symlink from /etc/systemd/system/default.target to /usr/lib/systemd/system/multi-
华为云contos7系统部署ES集群--3个主节点
wdquan19851029的专栏
01-20
3216
一、集群部署
1.ES集群的基本核心概念
Cluster集群
　　一个ElasticSearch集群由一个或多个节点(Node)组成，每个集群都有一个共同的集群名称作为标识。Node节点
　　一个ElasticSearch实例即一个Node，一台机器可以有多个实例，正常使用下每个实例应该会部署在不同机器上。ElasticSearch的配置文件中可以通过node.master、node.data来设置节点类型。
node.master：表示节点是否具有成为主节点的资格
true代表的是有资格竞选主节点
Centos7 搭建ELK(一)
qq_45397526的博客
11-28
311
Centos7 搭建ELK—搭建elasticsearch环境一、初始环境配置1、系统2、Java环境搭建二、建立用户三、上传ELK安装包1、切换用户2、上传ELK安装文件压缩包四、配置elasticsearch环境1、进入配置文件2、更改配置文件3、启动失败怎么办？
一、初始环境配置
1、系统
本次使用的是Centos7.2，在自己的阿里云服务器上进行搭建
2、Java环境搭建
搭建ELK要求java环境，且JDK版本需在1.8及以上
若环境中有jdk，可以使用以下命令查看已安装的JDK
rpm -qa|
ELK Stack入门到实战（一）基础架构之五
04-21

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。


 

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。


 

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。


 

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。


 

该课程从ELK组件中的两大组件和常用的应用日志收集进行剖析讲解。


 


（1）ElasticSearch：从单台的安装到集群的搭建、从基础的入门使用到高级的搜索和聚合都进行了较好的阐述。


 

（2） Logstash：通过收集apache日志，使用grok插件和geoip插件先让学习人员对整体框架做到了了解于胸。然后再深入的对LogStash重要的知识点进行了剖析。


 

（3）应用日志收集：对常见的Apache、Nginx、MySQL、Syslog进行日志收集和分析。虽说没有讲解太多，但是我想应该能做到让大家对应用日志收集了解的更加深入。


 

 

<img src="https://img-bss.csdn.net/201904210335253117.png" alt="" />

 

<img src="https://img-bss.csdn.net/201904210335368760.png" alt="" />
一、Centos7部署ELK
万物皆可学
04-30
2826
如何在 CentOS7 上安装 Elasticsearch、Logstash 和 Kibana（Elastic Stack）
开源实时日志分析ELK在centos7 下的部署操作（基础版本）
Chaosminds的博客
05-05
139
一、什么是ELK
开源实时日志分析ELK平台由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/cn/products/
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。
kibana...
CentOS7 环境下ELK部署
zhr19970910的博客
02-03
791
CentOS 7 ELK部署前言一、什么是ELK？二、环境准备三、ELK用户创建，解压文件四、部署Elasticsearch1.修改elasticsearch.yml2.修改jvm.options3.启动elasticsearch五、部署logstash六、部署kibana1.修改kibana配置文件2.kibana汉化七、filebeat部署八、在kibana查看日志内容1.创建索引2.搜索日志
前言
开发过程中需要使用ELK来查询日志和图表展示，因为从前
centos7 搭建elk日志系统
Cocktail_py的博客
05-22
639
安装elasticsearch 6.0.0
1.下载和配置相应的elasticsearch文件
# 进入到 cd /opt 下
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.zip
unzip elasticsearch-6.0.0.zip
cd elasticsearch-6.0.0/
...
CentOS 安装 ELK
04-26
NULL
博文链接：https://rensanning.iteye.com/blog/2312102
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：编程工作室
设计师：CSDN官方博客
返回首页
每天攀登一点点
CSDN认证博客专家
CSDN认证企业博客
码龄6年
暂无认证
15
原创
11万+
周排名
157万+
总排名
6万+
访问
等级
663
积分
11
粉丝
22
获赞
15
评论
84
收藏
私信
关注
热门文章
基于Kibana的可视化监控报警插件 KAAE 的配置
18330
kafka eagle安装与使用
8219
CentOS下ELK开机自启动的配置
7474
logback打印日志输出线程ID：切面模式
5918
Git错误fatal: CRLF would be replaced by LF in xxx
4993
分类专栏
JVM
3篇
GC
1篇
类加载
1篇
HashMap
1篇
集合
1篇
RabbitMQ
1篇
MySQL
1篇
centos
2篇
redis缓存
1篇
logback
2篇
slf4j
2篇
logback线程ID
IO
1篇
Git
1篇
ELK
3篇
Linux
1篇
ELK，Logback
1篇
消息队列，MQ
2篇
Spring Boot
JAVA
7篇
最新评论
VisualVm远程监控JVM(jstatd)
tonycody:
java.rmi.service.hostname 这个变量是错的，应该是：java.rmi.server.hostname
Java类加载机制
wscra:
膜拜大佬
JAVA中final关键字的作用
lunvey:
666，学习了java基础final关键字
Logback联动ELK
kenail2002_2:
good
CentOS下ELK开机自启动的配置
小白Alan:
case $1 in
start) sudo -iu elk $ES_HOME/bin/elasticsearch &;;
*) echo "require start" ;;
esac
这里面的 elk 是什么意思啊?
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
VisualVm远程监控JVM(jstatd)
数据库索引 B树 B+树
Java类加载机制
2021年7篇
2020年5篇
2019年2篇
2018年1篇
2017年6篇
目录
目录
分类专栏
JVM
3篇
GC
1篇
类加载
1篇
HashMap
1篇
集合
1篇
RabbitMQ
1篇
MySQL
1篇
centos
2篇
redis缓存
1篇
logback
2篇
slf4j
2篇
logback线程ID
IO
1篇
Git
1篇
ELK
3篇
Linux
1篇
ELK，Logback
1篇
消息队列，MQ
2篇
Spring Boot
JAVA
7篇
目录
评论
被折叠的条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
每天攀登一点点
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值