ElasticSearch 5.3源码学习 —— Segments_N 文件详解

少于 1 分钟 读完全文

概览

  • Lucene当前活跃的Segment都会存在一个Segment Info文件里,也就是segments_N。如果有多个segments_N,那么序号最大的就是最新的。
  • segments_N用SegmentInfos进行操作
  • segments_N由Header, LuceneVersion, Version, NameCounter, SegCount, MinSegmentLuceneVersion, <SegName, HasSegID, SegID, SegCodec, DelGen, DeletionCount, FieldInfosGen, DocValuesGen, UpdatesFiles>SegCount, CommitUserData, Footer 这19个变量组成。
变量 类型
Header 一个魔数(int),”segments”字符串和一个大版本(int)组成
LuceneVersion,MinSegmentLuceneVersion 3个vint组成
NameCounter, SegCount, DeletionCount int32
Generation, Version, DelGen, Checksum, FieldInfosGen, DocValuesGen 为 long(int64)
HasSegID int8
SegID 16位byte
SegName, SegCodec String
CommitUserData Map<String,String>
UpdatesFiles Map<Int32,Set>
Footer 魔数(int),algorithmID(int),CRC(long)

文件实例(SegmentInfos#readCommit读取)

IMAGE

序号 含义
1 Magic Number 硬编码在lucene中,一直为0x3fd76c17
2 “segments”字符串,用于校验文件
3 version为6
4 Commit ID, 16位byte
5 表示generation的string,这边是1e
6 lucene具体版本,6.4.1
7 index version: 622,表示index修改了622次了
8 counter为0xf4,表示下一个segment序号为244
9 numSegments为8,表示一共有8个active segment
10 segment里最小的lucene版本,为6.4.1
11 第一个segment name:_3d
12 第一个byte表示有没有segID,如果为1,那么后面16位就是segID
13 表示Codec,这里是Lucene62,用来找到对应segment的编码器,用于打开segment
14 DelGen,删除文件序号,为-1代表还没有删除,对应文件{segname}_{delgen}.liv,这里就是_3d_1.liv
15 删除的doc数目
16 fieldInfosGen,为-1代表没有,对应文件{segname}_{delgen}.fnm
17 docValuesGen
18 读取一个String Set,第一个vint为长度,此处为0。然后读取一个int代表DocValuesUpdatesFiles的长度,此处为0,如果不为0,则是一个Map<Int32,Set>
19 第二个segment的开头,因为一共有8个segment所以后面就重复上面的7遍
20 CommitUserData的长度,此处为3,表示后面有6个string,依次读取作为kv
21 结尾魔数,是开头魔数的反码
22 algorithmID 此处为0
23 CRC校验码

附录

  1. vint: 用1-5bit表示int,符号位表示是否结束(为0代表结束),后7位表示数值。低位在前高位在后
  2. generation在文件名中都是转成36进制
  3. SegmentInfos在readCommit时除了读取Segment_N,还会读取各segment的元文件获得maxID,在lucene62中为.si文件,下图标红处即为docNum,MaxDoc为63023 (Lucene62SegmentInfoFormat#read读取) IMAGE
  4. 其实Segment的这些数据在Rest API中均有展示,不过在5.3中不在一个api
    // 获得当前Segments信息
    GET /{index}/_segments
    //获得CommitUserData
    GET /{index}/_stats?filter_path=**.commit&level=shards
    

版权声明

  • 自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)
  • 本文首发于: http://czjxy881.coding.me/

留下评论