主观下线
集群中每个节点都会定期向其他节点发送ping消息，接收节点回复pong消息作为响应。如果在cluster-node-timeout时间内通信一直失败，则发送节点会认为接收节点存在故障，把接受节点标记为主观下线（pfail）状态。
流程说明：
1）节点a发送ping消息给节点b，如果通信正常接收到pong消息，节点a更新最近一次与节点b的通信时间。
2）如果节点a与节点b通信出现问题则断开连接，下次会进行重连。如果一致通信失败，则节点a记录的节点b最后通信时间将无法更新。
3）节点a内的定时任务检测到与节点b最后通信时间超高cluster-node-timeout时，更新本地对节点b的状态为主观下线（pfail）。
主观下线简单来讲就是，当cluster-note-timeout时间内某节点无法与另一个节点顺利完成ping消息通信时，则将该节点标记为主观下线状态。每个节点内的clusterState结构都需要保存其他节点信息，用于自身视角判断其他节点的状态。结构关键属性如下：
typedef struct clusterState {
clusterNode *myself; /* 自身节点 */
dict *nodes; /* 当前集群内所有节点的字典集合，key为节点ID，value为对应节点ClusterNode结构 */
...
} clusterState;
字典nodes属性中的clusterNode结构保存了节点的状态，关键属性如下：
typedef struct clusterNode {
int flags; /* 当前节点状态，如：主从角色，是否下线等 */
mstime_t ping_sent; /* 最后一次与该节点发送ping消息的时间 */
mstime_t pong_received; /* 最后一次接收到该节点pong消息的时间 */
...
} clusterNode;
其中最重要的属性是flags，用于标示该节点对应状态，取值范围如下：
CLUSTER_NODE_MASTER 1 /* 当前为主节点 */
CLUSTER_NODE_SLAVE 2 /* 当前为从节点 */
CLUSTER_NODE_PFAIL 4 /* 主观下线状态 */
CLUSTER_NODE_FAIL 8 /* 客观下线状态 */
CLUSTER_NODE_MYSELF 16 /* 表示自身状态 */
CLUSTER_NODE_HANDSHAKE 32 /* 握手状态，未与其他节点进行消息通信 */
CLUSTER_NODE_NOADDR 64 /* 无地址节点，用于第一次meet通信未完成或者通信失败 */
CLUSTER_NODE_MEET 128 /* 需要接受meet消息的节点状态 */
CLUSTER_NODE_MIGRATE_TO 256 /* 该节点被选中为新的主节点状态 */
Redis集群对于节点最终是否故障判断非常严谨，只有一个节点认为主观下线并不能准确判断是否故障。
客观下线
当某个节点判断另一个节点主观下线后，相应的节点状态会跟随消息在集群内传播。ping/pong消息的消息体会携带集群1/10的其他节点状态数据，当接受节点发现消息体中含有主观下线的节点状态是，会在本地找到故障节点的ClusterNode结构，保存到下线报告链表中。结构如下：
struct clusterNode { /* 认为是主观下线的clusterNode结构 */
list *fail_reports; /* 记录了所有其他节点对该节点的下线报告 */
...
};
通过Gossip消息传播，集群内节点不断收集到故障节点的下线报告。当半数以上持有槽的主节点都标记某个节点是主观下线时。触发客观下线流程。这里有两个问题：
1）为什么必须是负责槽的主节点参与故障发现决策？因为集群模式下只有处理槽的主节点才负责读写请求和集群槽等关键信息维护，而从节点只进行主机诶单数据和状态信息的复制。
2）为什么半数以上处理槽的主节点？必须半数以上是为了应对网络分区等原因造成的集群分割情况，被分割的小集群因为无法完成主观下线到客观下线这一关键过程，从而防止小集群完成故障转移之后继续对外提供服务。
假设节点a标记节点b为主管下线，一段时间后节点a通过消息把节点b的状态发送到其他节点，当节点c接受到消息并解析出消息体含有节点b的pfail状态是，会触发客观下线流程：
1）当消息体内含有其他节点的pfail状态会判断发送节点的状态，如果发送节点是主节点则对报告的pfail状态处理，从节点则忽略。
2）找到pfail对应的节点结构，更新clusterNode内部下线报告链表。
3）根据更新后的下线报告链表尝试进行客观下线。
这里针对维护下线报告和尝试客户端下线逻辑进行详细说明。
（1）维护下线报告链表
每个节点ClusterNode结构中都会存在一个下线链表结构，保存了其他主节点针对当前节点的下线报告，结构如下：
typedef struct clusterNodeFailReport {
struct clusterNode *node; /* */
mstime_t time; /* */
} clusterNodeFailReport;
下线报告中保存了报告故障的节点结构和最近收到下线报告的时间，当接收到fail状态时，会维护对应节点的下线上报链表。每个下线报告都存在有效期，每次在尝试触发客观下线时，都会检测下线报告是否过期，对于过期的下线报告将被删除。如果在cluster-node-time * 2的时间内该下线报告没有得到更新则过期并删除。下线报告的有效期限是server.cluster_node_timeout * 2，主要是针对故障误报的情况。例如节点A在上一个小时报告节点B主观下线，但是之后又恢复正常。现在又有其他节点上报节点B主观下线，根据实际情况之前的属于误报不能被使用。
运维提示：如果在cluster-node-time * 2时间内无法收集到一半以上槽节点的下线报告，那么之前的下线报告将会过期，也就是说主观下线上报的速度追赶不上下线报告过期的速度，那么故障节点将永远无法被标记为客观下线从而导致故障转移失败。因此不建议将cluster-node-time设置得过小。
（2）尝试客观下线
集群中的节点每次接收到其他节点的pfail状态，都会尝试触发客观下线，流程如下：
1）首先统计有效的下线报告数量，如果小于集群内持有槽的主节点总数的一半则退出。
2）当下线报告大于槽主节点数量一半时，标记对应故障节点为客观下线状态。
3）向集群广播一条fail消息，通知所有的节点将故障节点标记为客观下线，fail消息的消息体只包含故障节点的ID。
广播fail消息是客观下线的最后一步，它承担着非常重要的职责：
需要理解的是，尽管存在广播fail消息机制，但是集群所有节点知道故障故障节点进入客观下线状态是不确定的。比如当出现网络分区时有可能集群被分割为一大一小两个独立集群中。大的集群持有半数槽节点可以完成客观下线并广播fail消息，但是小集群无法接收到fail消息。当时当网络恢复后，只要故障节点变为客观下线，最终总会通过Gossip消息传播至集群的所有节点。
运维提示：网络分区会导致分割后的小集群无法收到大集群的fail消息，因此如果故障节点所有的从节点都在小集群内将导致无法完成后续故障转移，因此部署主从结构时需要根据自身机房/机架拓扑结构，降低主从被分区的可能性。
