使用 Docker Compose 快速部署 Elasticsearch 和 Kibana 可以帮助您在本地或开发环境中轻松设置和管理这两个重要的通过工具,用于存储和可视化日志数据、通过监控和搜索。通过以下是通过一个概述的步骤:
docker-compose up -d# -d 选项用于在后台运行容器。
这些步骤将帮助您快速部署 Elasticsearch 和 Kibana,以便进行日志分析、数据可视化和搜索等操作。请注意,您可以根据需要在 docker-compose.yml 文件中更改版本和配置选项。确保您的系统资源足够以支持 Elasticsearch 和 Kibana 的运行。
图片
Elasticsearch 是一个开源的分布式搜索和分析引擎,最初由 Elasticsearch N.V.(现在是 Elastic N.V.)开发并维护。它是基于 Apache Lucene 搜索引擎构建的,专门设计用于处理和分析大规模的数据,提供了强大的全文搜索、结构化数据存储、分析和可视化功能。以下是 Elasticsearch 的主要特点和用途的概述:
总之,Elasticsearch 是一个强大且多才多艺的搜索和分析引擎,适用于各种用途,从全文搜索到日志分析和可视化数据。它在各种行业中被广泛使用,包括搜索引擎、电子商务、日志管理、安全信息与事件管理、科学研究和更多领域。
图片
服务布局:
服务名称/主机名 | 开放端口 | |
node-1 | 9200 | 1G |
node-2 | 9201 | 1G |
node-3 | 9202 | 1G |
kibana | 5601 | 不限 |
# 安装yum-config-manager配置工具yum -y install yum-utils# 建议使用阿里云yum源:(推荐)#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repoyum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安装docker-ce版本yum install -y docker-ce# 启动并开机启动systemctl enable --now dockerdocker --version
curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-composechmod +x /usr/local/bin/docker-composedocker-compose --version
# 创建docker network create bigdata# 查看docker network ls
#创建 es 目录chmod 777 ./es/node-{ 1..3}/{ config,data,log}chmod 777 ./es/plugins# 创建kibana的配置目录mkdir -p ./kibana/config#目录授权chmod 777 ./es/node-{ 1..3}/{ config,data,log}chmod 777 ./es/pluginschmod 777 ./kibana/config
#查看当前最大句柄数sysctl -a | grep vm.max_map_count#修改句柄数vi /etc/sysctl.confvm.max_map_count=262144#临时生效,修改后需要重启才能生效,不想重启可以设置临时生效sysctl -w vm.max_map_count=262144
#修改后需要重新登录生效vi /etc/security/limits.conf# 添加以下内容* soft nofile 65535* hard nofile 65535* soft nproc 4096* hard nproc 4096# 重启服务,-h 立刻重启,默认间隔一段时间才会开始重启reboot -h now
GitHub 下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases
# 将下载的分词器复制到ES安装目录的plugins目录中并进行解压mkdir ./es/plugins/ik && cd ./es/plugins/ikwget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.5/elasticsearch-analysis-ik-7.17.5.zipunzip elasticsearch-analysis-ik-7.17.5.zip
./es/node-1/config/elasticsearch.yml
#集群名称cluster.name: elastic#当前该节点的名称node.name: node-1#是不是有资格竞选主节点node.master: true#是否存储数据node.data: true#最大集群节点数node.max_local_storage_nodes: 3#给当前节点自定义属性(可以省略)#node.attr.rack: r1#数据存档位置path.data: /usr/share/elasticsearch/data#日志存放位置path.logs: /usr/share/elasticsearch/log#是否开启时锁定内存(默认为是)#bootstrap.memory_lock: true#设置网关地址,我是被这个坑死了,这个地址我原先填写了自己的实际物理IP地址,#然后启动一直报无效的IP地址,无法注入9300端口,这里只需要填写0.0.0.0network.host: 0.0.0.0#设置映射端口http.port: 9200#内部节点之间沟通端口transport.tcp.port: 9300#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写#es7.x 之后新增的配置,写入候选主节点的设备地址,在开启服务后可以被选为主节点,也就是说把所有的节点都写上discovery.seed_hosts: ["node-1","node-2","node-3"]#当你在搭建集群的时候,选出合格的节点集群,有些人说的太官方了,#其实就是,让你选择比较好的几个节点,在你节点启动时,在这些节点中选一个做领导者,#如果你不设置呢,elasticsearch就会自己选举,这里我们把三个节点都写上cluster.initial_master_nodes: ["node-1","node-2","node-3"]#在群集完全重新启动后阻止初始恢复,直到启动N个节点#简单点说在集群启动后,至少复活多少个节点以上,那么这个服务才可以被使用,否则不可以被使用,gateway.recover_after_nodes: 2#删除索引是是否需要显示其名称,默认为显示#action.destructive_requires_name: true# 禁用安全配置,否则查询的时候会提示警告xpack.security.enabled: false
./es/node-2/config/elasticsearch.yml
#集群名称cluster.name: elastic#当前该节点的名称node.name: node-2#是不是有资格竞选主节点node.master: true#是否存储数据node.data: true#最大集群节点数node.max_local_storage_nodes: 3#给当前节点自定义属性(可以省略)#node.attr.rack: r1#数据存档位置path.data: /usr/share/elasticsearch/data#日志存放位置path.logs: /usr/share/elasticsearch/log#是否开启时锁定内存(默认为是)#bootstrap.memory_lock: true#设置网关地址,我是被这个坑死了,这个地址我原先填写了自己的实际物理IP地址,#然后启动一直报无效的IP地址,无法注入9300端口,这里只需要填写0.0.0.0network.host: 0.0.0.0#设置映射端口http.port: 9200#内部节点之间沟通端口transport.tcp.port: 9300#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写#es7.x 之后新增的配置,写入候选主节点的设备地址,在开启服务后可以被选为主节点,也就是说把所有的节点都写上discovery.seed_hosts: ["node-1","node-2","node-3"]#当你在搭建集群的时候,选出合格的节点集群,有些人说的太官方了,#其实就是,让你选择比较好的几个节点,在你节点启动时,在这些节点中选一个做领导者,#如果你不设置呢,elasticsearch就会自己选举,这里我们把三个节点都写上cluster.initial_master_nodes: ["node-1","node-2","node-3"]#在群集完全重新启动后阻止初始恢复,直到启动N个节点#简单点说在集群启动后,至少复活多少个节点以上,那么这个服务才可以被使用,否则不可以被使用,gateway.recover_after_nodes: 2#删除索引是是否需要显示其名称,默认为显示#action.destructive_requires_name: true# 禁用安全配置,否则查询的时候会提示警告xpack.security.enabled: false
./es/node-3/config/elasticsearch.yml
#集群名称cluster.name: elastic#当前该节点的名称node.name: node-3#是不是有资格竞选主节点node.master: true#是否存储数据node.data: true#最大集群节点数node.max_local_storage_nodes: 3#给当前节点自定义属性(可以省略)#node.attr.rack: r1#数据存档位置path.data: /usr/share/elasticsearch/data#日志存放位置path.logs: /usr/share/elasticsearch/log#是否开启时锁定内存(默认为是)#bootstrap.memory_lock: true#设置网关地址,我是被这个坑死了,这个地址我原先填写了自己的实际物理IP地址,#然后启动一直报无效的IP地址,无法注入9300端口,这里只需要填写0.0.0.0network.host: 0.0.0.0#设置映射端口http.port: 9200#内部节点之间沟通端口transport.tcp.port: 9300#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写#es7.x 之后新增的配置,写入候选主节点的设备地址,在开启服务后可以被选为主节点,也就是说把所有的节点都写上discovery.seed_hosts: ["node-1","node-2","node-3"]#当你在搭建集群的时候,选出合格的节点集群,有些人说的太官方了,#其实就是,让你选择比较好的几个节点,在你节点启动时,在这些节点中选一个做领导者,#如果你不设置呢,elasticsearch就会自己选举,这里我们把三个节点都写上cluster.initial_master_nodes: ["node-1","node-2","node-3"]#在群集完全重新启动后阻止初始恢复,直到启动N个节点#简单点说在集群启动后,至少复活多少个节点以上,那么这个服务才可以被使用,否则不可以被使用,gateway.recover_after_nodes: 2#删除索引是是否需要显示其名称,默认为显示#action.destructive_requires_name: true# 禁用安全配置,否则查询的时候会提示警告xpack.security.enabled: false
./kibana/config/kibana.yml
server.host: 0.0.0.0# 监听端口server.port: 5601server.name: "kibana"# kibana访问es服务器的URL,就可以有多个,以逗号","隔开elasticsearch.hosts: ["http://node-1:9200","http://node-2:9201","http://node-3:9202"]monitoring.ui.container.elasticsearch.enabled: true# kibana访问Elasticsearch的账号与密码(如果ElasticSearch设置了的话)elasticsearch.username: "kibana"elasticsearch.password: "12345"# kibana日志文件存储路径logging.dest: stdout# 此值为true时,禁止所有日志记录输出logging.silent: false# 此值为true时,禁止除错误消息之外的所有日志记录输出logging.quiet: false# 此值为true时,记录所有事件,包括系统使用信息和所有请求logging.verbose: falseops.interval: 5000# kibana web语言i18n.locale: "zh-CN"
这里就用别人已经构建好的好的镜像,不再重复构建镜像了,如果不了解怎么构建镜像,可以私信我。
### ESdocker pull elasticsearch:7.17.5# tagdocker tag docker.io/library/elasticsearch:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5# 登录将镜像推送到阿里云docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5### kibanadocker pull docker.io/library/kibana:7.17.5docker tag docker.io/library/kibana:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5
version: "3"services: node-1: image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 container_name: node-1 hostname: node-1 environment: - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" - "TZ=Asia/Shanghai" ulimits: memlock: soft: -1 hard: -1 nofile: soft: 65536 hard: 65536 ports: - "9200:9200" logging: driver: "json-file" options: max-size: "50m" volumes: - ./es/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es/plugins:/usr/share/elasticsearch/plugins - ./es/node-1/data:/usr/share/elasticsearch/data - ./es/node-1/log:/usr/share/elasticsearch/log networks: - bigdata healthcheck: test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"] interval: 10s timeout: 10s retries: 5 node-2: image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 container_name: node-2 hostname: node-2 environment: - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" - "TZ=Asia/Shanghai" ulimits: memlock: soft: -1 hard: -1 nofile: soft: 65536 hard: 65536 ports: - "9201:9200" logging: driver: "json-file" options: max-size: "50m" volumes: - ./es/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es/plugins:/usr/share/elasticsearch/plugins - ./es/node-2/data:/usr/share/elasticsearch/data - ./es/node-2/log:/usr/share/elasticsearch/log networks: - bigdata healthcheck: test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"] interval: 10s timeout: 10s retries: 5 node-3: image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5 container_name: node-3 hostname: node-3 environment: - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" - "TZ=Asia/Shanghai" ulimits: memlock: soft: -1 hard: -1 nofile: soft: 65536 hard: 65536 ports: - "9202:9200" logging: driver: "json-file" options: max-size: "50m" volumes: - ./es/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es/plugins:/usr/share/elasticsearch/plugins - ./es/node-3/data:/usr/share/elasticsearch/data - ./es/node-3/log:/usr/share/elasticsearch/log networks: - bigdata healthcheck: test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"] interval: 10s timeout: 10s retries: 5 kibana: container_name: kibana hostname: kibana image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5 environment: TZ: 'Asia/Shanghai' volumes: - ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml ports: - 5601:5601 networks: - bigdata healthcheck: test: ["CMD-SHELL", "curl -I http://localhost:5601 || exit 1"] interval: 10s timeout: 10s retries: 5# 连接外部网络networks: bigdata: external: true
开始执行部署
docker-compose up -d# 查看docker-compose ps
ES 访问地址:http://ip:9200
docker-compose pscurl localhost:9200curl localhost:9200/_cat/health
图片
kibana:http://ip:5601/
图片
git 地址:https://gitee.com/hadoop-bigdata/docker-compose-es-kibana.git
责任编辑:武晓燕 来源: 大数据与云原生技术分享 分布式搜索Elastic(责任编辑:探索)
鹰君(00041.HK)授出499万份购股期权 惟须待承受人接纳方可作实
1月浙江新设外商投资企业287家 实际使用外资规模居全国第五
大联大诠鼎集团推出基于Innoscience产品的1KW DC/DC电源模块方案
深圳三部门:持续深化融资租赁、商业保理行业清理规范 加强部门协同