前面文章写过ES的据迁迁移方案,不同场景使用不同的移实迁移方案会事半功倍,今天咱们就来具体操作一下基于Snapshot方式来迁移数据,据迁Snapshot更加适用于大数据量跨集群迁移数据。移实并且索引创建快照的据迁过程是增量的。在给索引创建快照的移实过程中,Elasticsearch会分析存储在仓库中的据迁索引文件并且只会复制那些自从上次快照 之后新建或有所更新的文件。这使得多个快照以一种紧凑的移实方式存储在同一个仓库里。创建快照的据迁过程是以非阻塞方式执行的。一个索引在创 建快照的移实同时能够被检索和查询。尽管如此,据迁快照保存的是在开始进行创建快照的那个时间点的索引的视图。所以,在开始创建快照之后的记录不会出现在这个快照里。在主分片启动之后创建快照的过程就会立即开始,并且之后不会改变位置。
开门见山,直接上操作,咱们使用Kibana可视化桌面来操作,当然也可以直接使用CURL的方式。
除了S3,也可以使用本地存储fs等,进入docker容器。
docker exec -it c76785ab5a8b bash
# 安装插件
./bin/elasticsearch-plugin insyall repository-s3
exit
重启容器(不建议这样安装,万一容器挂了重新启动后就会没有,建议使用挂载的方式)。
docker restart c76785ab5a8b
查看是否安装成功。
GET _cat/plugins
c76785ab5a8b analysis-ik 7.8.1
c76785ab5a8b repository-s3 7.8.1
显示这样表明安装成功,一般情况下插件版本是和ES的版本对应的
创建仓库之前咱们先把minio的AK、SK在后台配置(安全),以同样的方式进入docker中
./bin/elasticsearch-keystore add s3.client.default.access_key
./bin/elasticsearch-keystore add s3.client.default.secret_key
添加后退出重启(不建议)。
然后开始创建仓库。
PUT _snapshot/stock_backup
{
"type": "s3",
"settings": {
"bucket": "stock",
"protocol": "http",
"disable_chunked_encoding": "true",
"endpoint": "172.0.0.1:9000"
}
}
验证是否创建成功。
GET _snapshot/_all?pretty
{
"stock_backup" : {
"type" : "s3",
"settings" : {
"bucket" : "stock",
"disable_chunked_encoding" : "true",
"endpoint" : "172.0.0.1:9000",
"protocol" : "http"
}
}
}
此时,仓库已经创建好了,咱们直接备份数据。
全量备份。
PUT _snapshot/stock_backup/snapshot_all
部分备份,例如:只备份其中的index。
当然也可以添加参数:
PUT _snapshot/stock_backup/default_all
{
"indices": "dec_default_news,dec_default_rate,dec_default_ha",
"ignore_unavailable": true,
"include_global_state": false
}
查看备份状态。
GET _snapshot/stock_backup/default_all # 查看单个
{
"snapshots" : [
{
"snapshot" : "default_all",
"uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
"version_id" : 7080199,
"version" : "7.8.1",
"indices" : [
"dec_default_news",
"dec_default_rate",
"dec_default_ha"
],
"include_global_state" : false,
"state" : "SUCCESS",
"start_time" : "2022-04-02T03:16:09.842Z",
"start_time_in_millis" : 1648869369842,
"end_time" : "2022-04-02T03:16:09.842Z",
"end_time_in_millis" : 1648869369842,
"duration_in_millis" : 0,
"failures" : [ ],
"shards" : {
"total" : 3,
"failed" : 0,
"successful" : 3
}
}
]
}
GET _snapshot/stock_backup/_all?pretty # 查看所有
{
"snapshots" : [
{
"snapshot" : "default_all",
"uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
"version_id" : 7080199,
"version" : "7.8.1",
"indices" : [
"dec_default_news",
"dec_default_rate",
"dec_default_ha"
],
"include_global_state" : false,
"state" : "SUCCESS",
"start_time" : "2022-04-02T03:16:09.842Z",
"start_time_in_millis" : 1648869369842,
"end_time" : "2022-04-02T03:16:09.842Z",
"end_time_in_millis" : 1648869369842,
"duration_in_millis" : 0,
"failures" : [ ],
"shards" : {
"total" : 3,
"failed" : 0,
"successful" : 3
}
}
]
}
此时已经备份成功。
咱们的操作是跨集群的数据迁移,同样的操作,在另一个集群里面创建相同的仓库
PUT _snapshot/stock_backup
{
"type": "s3",
"settings": {
"bucket": "stock",
"protocol": "http",
"disable_chunked_encoding": "true",
"endpoint": "172.0.0.1:9000"
}
}
然后看下现在有备份数据。
GET _snapshot/stock_backup/_all?pretty
{
"snapshots" : [
{
"snapshot" : "default_all",
"uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
"version_id" : 7080199,
"version" : "7.8.1",
"indices" : [
"dec_default_news",
"dec_default_rate",
"dec_default_ha"
],
"include_global_state" : false,
"state" : "SUCCESS",
"start_time" : "2022-04-02T03:16:09.842Z",
"start_time_in_millis" : 1648869369842,
"end_time" : "2022-04-02T03:16:09.842Z",
"end_time_in_millis" : 1648869369842,
"duration_in_millis" : 0,
"failures" : [ ],
"shards" : {
"total" : 3,
"failed" : 0,
"successful" : 3
}
}
]
}
发现已经存在了备份的数据,此时只需要恢复就行。
POST _snapshot/stock_backup/default_all/_restore
{
"acknowledged" : true
}
等待执行结束就OK。
GET _cat/indices
yellow open dec_default_news HWykC-xpQVK0ZqK-3NjXVA 1 1 308 0 208kb 208kb
yellow open dec_default_rate F3JFzHF-QK2AH_9IUmnacA 1 1 409471 0 221.5mb 221.5mb
yellow open dec_default_ha c78OXNB1T3KafgVHj7TwiA 1 1 164 0 250.2kb 250.2kb
大功告成。
(责任编辑:百科)
爱司凯(300521.SZ)2020年度净亏损1214.64万元 不以公积金转增股本
我国规模最大液化天然气储备基地在盐城投产 一期总罐容达250万立方米
银昆高速(宁夏段)最长隧道贯通 为2024年全面建成通车奠定坚实基础
银保监会完善相关政策措施 支持符合绿色低碳发展需求的保险产品和服务
国家能源集团采购品类和采购金额再创新高 五年累计采购总金额达72亿美元
ipo审核是什么意思?股票市场上常常被提到的IPO的意思是什么?
“世界级挑战性工程”汕头海湾隧道正式通车 线路全长6.68公里