HDFS如何探测数据错误及进⾏数据恢复
HDFS数据错误分三种：名称节点错误、数据节点错误、数据块错误
1、数据节点错误
数据节点周期性发送⼼跳信息给名称节点，报告数据节点的状态信息。
当数据节点发⽣故障或者⽹络故障，名称节点⽆法收到数据节点的⼼跳信息，标记该数据节点为“宕机”，节点上的所有数据标记为不可读，名称节点不会像该数据节点发送如何I/O请求。
该数据节点上的数据块的副本数量⼩于冗余因⼦。名称节点周期检查这种情况，⼀旦发现某个数据块的副本数量⼩于冗余因⼦，启动数据冗余复制，为它⽣成新的副本。
2、数据块错误
⽂件被创建时，客户端会对每⼀个⽂件块进⾏信息摘录，并把这些信息写⼊同⼀个路径的隐藏⽂件⾥⾯。
当客户端读取⽂件的时候，会先读取该信息⽂件，然后利⽤该信息我呢间对每个读取的数据块进⾏校验，
如果校验出错，客户端就会请求另外⼀个数据节点读取该⽂件块，并向名称节点报告该⽂件块有错误，名称节点会定期检查并重新复制该数据块。
3、名称节点出错
怎样恢复数据名称节点保存所有元数据信息，核⼼数据结构是FsImage和EditLog
1、HDFS HA机制

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。