CheckPoint and DataNode

目录

Check Point时间设置（NameNode）

DataNode工作机制

DataNode数据完整性

DataNode掉线时限参数设置

HDFS章节总结（重点）

Check Point时间设置（NameNode）

Check Point 工作机制图

图片来源尚硅谷 

（1）通常情况下，SecondaryNameNode（2NN）每隔一小时执行一次

<property>
 <name>dfs.namenode.checkpoint.period</name>
 <value>3600s</value>
</property>

（2）一分钟检查一次操作次数，当操作达到一百万时，SecondaryNameNode（2NN）执行一次

</property>
<name>dfs.namenode.checkpoint.txns</name>
 <value>1000000</value>
<description>操作动作次数</description>
</property>
<property>
 <name>dfs.namenode.checkpoint.check.period</name>
 <value>60s</value>
<description> 1 分钟检查一次操作次数</description>
</property>

DataNode工作机制

工作机制图

图片来源尚硅谷

1、一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2、DataNode启动后向NameNode注册，通过后，周期性为（6小时）的向NameNode上报所有的块信息。

DN 向 NN 汇报当前解读信息的时间间隔，默认 6 小时

<property>
<name>dfs.blockreport.intervalMsec</name>
<value>21600000</value>
<description>Determines block reporting interval in 
milliseconds.</description>
</property>

DN 扫描自己节点块信息列表的时间，默认 6 小时

<property>
<name>dfs.datanode.directoryscan.interval</name>
<value>21600s</value>
<description>Interval in seconds for Datanode to scan data 
directories and reconcile the difference between blocks in memory and on 
the disk.
Support multiple time unit suffix(case insensitive), as described
in dfs.heartbeat.interval.
</description>
</property>

3、心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块信息到另一台机器，或删除某个数据块。如果超过10分钟没有收到DataNode的心跳，则认为该节点不可用

4、集群运行中可以安全加入和退出一些机器

DataNode数据完整性

DataNode节点保证数据完整性的方法

1、当DataNode读取Block的时候，它会计算CheckSum。

2、如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。

3、Client 读取其他 DataNode 上的 Block。

4、常见的校验算法 crc（32），md5（128），sha1（160）

5、DataNode 在其文件创建后周期验证 CheckSum。

如何判断数据是否准确；校验法；

图片来源于尚硅谷

DataNode掉线时限参数设置

DataNode掉线时限参数设置解读图‘

 如果定义超时时间为TimeOut，则超时时长的计算公式为：

TimeOut=2*dfs.namenode.heartbeat.recheck-interval+10*dsf.heartbeat.interval

默认的dfs.namenode.heartbeat.recheck-interval大小为5分钟；dsf.heartbeat.interval默认为3秒

需要注意的是 hdfs-site.xml 配置文件中的 heartbeat.recheck.interval 的单位为毫秒，dfs.heartbeat.interval 的单位为秒。

<property>
 <name>dfs.namenode.heartbeat.recheck-interval</name>
 <value>300000</value>
</property>
<property>
 <name>dfs.heartbeat.interval</name>
 <value>3</value>
</property>

HDFS章节总结（重点）

1、HDFS文件块大小（面试重点）

硬盘读写速度：一般速度为128m（中小公司）/256m（大公司）

2、HDFS的shell操作（开发重点）

3、HDFS的读写流程（面试重点）