搜索
房产
装修
汽车
婚嫁
健康
理财
旅游
美食
跳蚤
二手房
租房
招聘
二手车
教育
茶座
我要买房
买东西
装修家居
交友
职场
生活
网购
亲子
情感
龙城车友
找美食
谈婚论嫁
美女
兴趣
八卦
宠物
手机

Elasticsearch基本概念

[复制链接]
查看: 68|回复: 0

1万

主题

1万

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
32610
发表于 2020-1-15 01:01 | 显示全部楼层 |阅读模式

  • Elasticsearch自顶向下的架构系统
Elasticsearch基本概念  热点新闻 928390-20200114230748419-1142876155




  • 文档,索引
Elasticsearch基本概念  热点新闻 928390-20200114222813794-1639965023

文档(Document)



    • Elasticsearch是面向文档的,文档是全数可搜索数据的最小单元
    • 文档会被序列化成JSON格式,连结在Elasticsearch中
    • 每一个文档都有一个UniqueID

文档的元数据



    • 元数据,用于标注安定的关连信息
    • _index -文档所属的索引名
    • _type -文档所属的典范名
    • _source-文档的原始Json数据
    • _version-文档的版本信息
    • _score-关连性打分

            索引(Index)
          Index- 索引是文档的容器,是一类文档的团结



    • Index表示了逻辑空间的概念:每一个索引都有自己的Mapping界说,用于界说包含的文档的字段名和字段典范
    • Shard表示了物理空间的概念:索引中的数据分离在Shard上

          索引的Mapping与Settings



    • Mapping界说文档字段的典范
    • Setting界说差别的数据散布

          Type



    • 在7.0之前,一个index可以设备多个Types
    • 6.0起头,Type已经被Deprecated。7.0起头一个索引只能建立一个Type -"_doc"



  • 集群/节点/分片/副本
Elasticsearch基本概念  热点新闻 928390-20200114230834308-748879852



  • 散布式系统的可用性与扩大性

    • 高可用

      • 办事可用性-答应有节点禁止办事
      • 数据可用性-部分节点丧失,不会丧失数据

    • 可扩大性

      • 存储的水平扩容 请求量提升/数据的不停增加(将数据散布到所用节点上)




  • 集群

    • 多台Es办事器的团结的统称叫ES集群
    • 集群的健康状态

      • Green-主分片与副本都一般分派
      • Yellow-主分片全数一般分派,有副天职片未能一般分派
      • Red-有主分片未能分派(例如 当办事器的磁盘容量横跨85%时,去建立了一个新的索引)




  • 节点
Elasticsearch基本概念  热点新闻 928390-20200114224311301-104350968


    • 节点是一个Elasticsearch的实例,本质上就是一个JAVA进程
    • 每一个节点都著名字,经过设备文件设备,大要启动时候指定
    • 每一个节点在启动以后,会分派一个UID,保存在data目录下



  • Master-eligible nodes 和Master Node(主节点)

    • 每个节点启动后,默许就是一个Master eligible节点(可以设备node.master:false禁止)
    • Master-eligible节点可以参加选支流出,成为Master节点
    • 每个节点上都保存了集群的状态,只要Master节点才华点窜集群的状态信息

      • 集群状态(cluster state)保护了一个集群中必要的信息全数节点的信息/全数的索引和其关连的Mapping与Setting信息/分片的路由信息
      •    尽情节点都能点窜信息会致使数据的不齐截性




  • DataNode(数据节点)

    • 可以保存数据的节点。负责保存分片数据。在数据扩大上起到了相当垂危的感化

  • Coordination Node(和谐节点)

    • 负责吸收Client的请求,将请求分发到合适的节点,终极把结果汇集到一路
    • 每个节点默许都起到了Coordination Node的职责

  • Hot&Warm Node

    • 差别硬件设备的Data Node,用来实现Hot&Warm架构,低落集群安排的本钱

  • Machine Learning Node

    • 负责跑呆板进修的Job,用来做很是检测

  • Ingest Node

    • Ingest Node 可以看做是数据前置处置赏罚转换的节点,支持 pipeline管道 设备,可以利用 ingest 对数据举行过滤、转换等利用,类似于 logstash 中 filter 的感化。

  • Tribe Node

    • 5.3起头利用Cross Cluster Search)TribeNode 毗连赴任别的Elasticsearch集群,而且支持将这些集群当做一个零丁的集群处置赏罚

     节点脚色别离及资本利用情况
脚色描摹存储内存盘算收集
数据节点存储和检索数据极高
主节点治理集群状态
Ingest 节点转换输入数据
呆板进修节点呆板进修极高极高
和谐节点请求转发和合并检索结果


  • 分片(Primary Shard & Replica Shard)




    • 将数据切分放在每个分片中,分片又被放到集群中的节点上。
    • 每个分片都是自力的lucene实例
    • 分片数设备太小

      • 致使后续没法增加节点实现水平扩大
      • 单个分片的数据量太大,致使数据重新分派耗时

    • 分片数设备过大

      • 影响搜索结构的关连性打分,影响统计结果的正确性
      • 单个节点上过量的分片,会致使资本浪费,同时也会影响性能

    • 分片为主分片和备份分片

      • 副天职片数进步了数据冗余量
      • 主分片挂掉今后可以大要自动由副天职片升为主分片
      • 备份分片还可以大要低落主分片的查询压力(会消耗更多的系统性能)




  • REST API
             Elasticsearch供给了一个很是周全和强大的REST API,利用它与集群举行交互


    • 检查聚集,节点和索引运转状态,状态和统计信息
    • 治理您的聚集,节点和索引数据和元数据
    • 对索引尝试CRUD(建立,读取,更新和删除)和搜索利用
    • 尝试高级搜索利用,例如分页,排序,过滤,剧本编写,聚合等

Elasticsearch基本概念  热点新闻 928390-20200114234526444-1355000187

      

      

免责声明:假如加害了您的权益,请联系站长,我们会实时删除侵权内容,感谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2006-2014 全椒百姓网-全椒知名**,发布及时新鲜的全椒新闻资讯 生活信息 版权所有 法律顾问:高律师 客服电话:0791-88289918
技术支持:迪恩网络科技公司  Powered by Discuz! X3.2
快速回复 返回顶部 返回列表