gossip协议区块链

1. 如何设计日志采集存储分析的架构

Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。 Flume采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标： (1) 可靠性 (2) 可扩展性 3) 可管理性 (4) 功能可扩展性

2. 覆盖网络的覆盖网络的相关协议

基于TCP/IP的覆盖网络协议:
分布式哈希表(DHTs), 比如 KAD 和其他基于Kademlia算法的协议。
（1）JXTAXMPP: the routing of messages based on an endpoint Jabber ID instead of by an IP Address。
（2）许多peer-to-peer 协议，包括Gnutella, Gnutella2, Freenet, I2P 和Tor。
（3）PUCC。
（4）Solipsis: a France Télécom system for massively shared virtual worldHyParView: a highly robust unstructured overlay for gossip broadcast
基于UDP/IP的覆盖网络协议:
Real Time Media Flow Protocol - Adobe Flash

3. select is not allowed in cluster mode怎么解决

集群架构
每个节点都会跟其他节点保持连接，用来交换彼此的信息。节点组成集群的方式使用cluster meet命令，meet命令可以让两个节点相互握手，然后通过gossip协议交换信息。如果一个节点r1在集群中，新节点r2加入的时候与r1节点握手，r1节点会把

4. gossip协议解决了什么问题

Gossip Girl当然就是现在热播的电视剧《绯闻女孩》的原著了
The it Girl的主角是Jenny，讲的是她大学的事
The Carlyles是GG小说的一个番外，共4本
GG的确有两种封面，一种是原版小说，另一种则是CW出的电视剧版小说，我只看过原版的，但两种应该是完全不一样的
你所描述的封面我在GG英文官网上也看到过，但它和原版小说内容是一样的，区别只在于一版Published on: 2002-04-01 另一版Published on: 2007-09-12 ，而且好像只发了两本，估计就是电视剧火了以后，出版社加印的，换了个封面而已，所以你可以放心大胆的找原著看了，一定衔接的上
下面是原版书的顺序，参考一下
1. Gossip Girl
2. You Know You Love Me
3. All I Want Is Everything
4. Because I'm Worth It
5. I Like It Like That
6. You're the One That I Want
7. Nobody Does It Better
8. Nothing Can Keep Us Together
9. Only in Your Dreams
10. Would I Lie to You?
11. Don't You Forget About Me
The Carlyles
Prequel- It Had To Be You
下图是GG封面，前两排是原版书的，后两排是CW出的电视剧版的

5. Dynamo的高级分析

有了上面一章里的两个基础介绍之后，我们开始进入Dynamo的世界。
Dynamo的数据分区与作用
在Dynamo的实现中提到一个关键的东西，就是数据分区。 假设我们的数据的key的范围是0到2的64次方（不用怀疑你的数据量会超过它，正常甚至变态情况下你都是超不过的，甚至像伏地魔等其他类Dynamo系统是使用的 2的32次方），然后设置一个常数，比如说1000，将我们的key的范围分成1000份。然后再将这1000份key的范围均匀分配到所有的节点（s个节点），这样每个节点负责的分区数就是1000/s份分区。
如图二，假设我们有A、B、C三台机器，然后将我们的分区定义了12个。
图二：三个节点分12个区的数据的情况
因为数据是均匀离散到这个环上的（有人开始会认为数据的key是从1、2、3、4……这样子一直下去的，其实不是的，哈希计算出来的值，都是一个离散的结果），所以我们每个分区的数据量是大致相等的。从图上我们可以得出，每台机器都分到了三个分区里的数据，并且因为分区是均匀的，在分区数量是相当大的时候，数据的分布会更加的均匀，与此同时，负载也被均匀地分开了（当然了，如果硬要说你的负载还是只集中在一个分区里，那就不是在这里要讨论的问题了，有可能是你的哈希函数是不是有什么样的问题了）。
为什么要进行这样的分布呢，分布的好处在于，在有新机器加入的时候，只需要替换原有分区即可，如图三所示：
图三：加入一个新的节点D的情况
同样是图二里的情况，12个分区分到ABC三个节点，图三中就是再进入了一个新的节点D，从图上的重新分布情况可以得出，所有节点里只需要转移四分之一的数据到新来的节点即可，同时，新节点的负载也伴随分区的转移而转移了（这里的12个分区太少了，如果是1200个分区甚至是12000个分区的话，这个结论就是正确的了，12个分区只为演示用）。
从Dynamo的NRW看CAP法则
在Dynamo系统中，第一次提出来了NRW的方法。
N：复制的次数；
R：读数据的最小节点数；
W：写成功的最小分区数。
这三个数的具体作用是用来灵活地调整Dynamo系统的可用性与一致性。
举个例子来说，如果R=1的话，表示最少只需要去一个节点读数据即可，读到即返回，这时是可用性是很高的，但并不能保证数据的一致性，如果说W同时为1的 话，那可用性更新是最高的一种情况，但这时完全不能保障数据的一致性，因为在可供复制的N个节点里，只需要写成功一次就返回了，也就意味着，有可能在读的这一次并没有真正读到需要的数据（一致性相当的不好）。如果W=R=N=3的话，也就是说，每次写的时候，都保证所有要复制的点都写成功，读的时候也是都读到，这样子读出来的数据一定是正确的，但是其性能大打折扣，也就是说，数据的一致性非常的高，但系统的可用性却非常低了。如果R + W > N能够保证我们“读我们所写”，Dynamo推荐使用322的组合。
Dynamo系统的数据分区让整个网络的可扩展性其实是一个固定值（你分了多少区，实际上网络里扩展节点的上限就是这个数），通过NRW来达到另外两个方 向上的调整。
Dynamo的一些增加可用性的补救
针对一些经常可能出现的问题，Dynamo还提供了一些解决的方法。
第一个是hinted handoff数据的加入：在一个节点出现临时性故障时，数据会自动进入列表中的下一个节点进行写操作，并标记为handoff数据，在收到通知需要原节点恢复时重新把数据推回去。这能使系统的写入成功大大提升。
第二个是向量时钟来做版本控制：用一个向量（比如说[a,1]表示这个数据在a节点第一次写入）来标记数据的版本，这样在有版本冲突的时候，可以追溯到出现问题的地方。这可以使数据的最终一致成为可能。（Cassandra未用vector clock，而只用client timestamps也达到了同样效果。）
第三个是Merkle tree来提速数据变动时的查找：使用Merkle tree为数据建立索引，只要任意数据有变动，都将快速反馈出来。
第四个是Gossip协议：一种通讯协议，目标是让节点与节点之间通信，省略中心节点的存在，使网络达到去中心化。提高系统的可用性。

6. push-pull gossip protocol是什么意思

push-pull gossip protocol
推拉式八卦协议
protocol[英][ˈprəʊtəkɒl][美][ˈproʊtəkɔ:l]
n.礼仪; （外交条约的）草案; （数据传递的）协议; 科学实验报告（或计划）;
vt.把…写入议定书，在议定书中拟定（或颁布）;
vi.拟定议定书，拟定草案;
复数：protocols

7. 保证分布式环境下nosql的扩展性，容错性和可靠性的技术有哪些

严格的说，Hbase 和它的支持系统源于著名的Google BigTable和Google文件系统设计（GFS的论文发于2003年，BigTable的论文发于2006年）。而 Cassandra 则是最近Facebook的数据库系统的开源分支，她在实现了BigTable的数据模型的同时，使用了基于Amazon的Dynamo的系统架构来存储数据（实际上，Cassandra的最初开发工作就是由两位从Amazon跳槽到Facebook的Dynamo工程师完成的）。
【备注1】Dynamo是亚马逊的key-value模式的存储平台，可用性和扩展性都很好，性能也不错：读写访问中99.9%的响应时间都在300ms内。
在Dynamo的实现中提到一个关键的东西，就是数据分区。假设我们的数据的key的范围是0到2的64次方（不用怀疑你的数据量会超过它，正常甚至变态情况下你都是超不过的，甚至像伏地魔等其他类Dynamo系统是使用的 2的32次方），然后设置一个常数，比如说1000，将我们的key的范围分成1000份。然后再将这1000份key的范围均匀分配到所有的节点（s个节点），这样每个节点负责的分区数就是1000/s份分区。
如图二，假设我们有A、B、C三台机器，然后将我们的分区定义了12个。

图二：三个节点分12个区的数据的情况
因为数据是均匀离散到这个环上的（有人开始会认为数据的key是从1、2、3、4……这样子一直下去的，其实不是的，哈希计算出来的值，

【备注2】DHT（Distributed Hash Table，分布式哈希表），它是一种分布式存储寻址方法的统称。就像普通的哈希表，里面保存了key与value的对应关系，一般都能根据一个key去对应到相应的节点，从而得到相对应的value。

【备注3】Consistency（一致性）：即数据一致性，简单的说，就是数据复制到了N台机器，如果有更新，要N机器的数据是一起更新的。
Availability（可用性）：好的响应性能，此项意思主要就是速度。
Partition tolerance（分区容错性）：这里是说好的分区方法，体现具体一点，简单地可理解为是节点的可扩展性。
定理：任何分布式系统只可同时满足二点，没法三者兼顾

这个理论说明，分布式（或共享数据）系统的设计中，至多只能够提供三个重要特性中的两个——一致性、可用性和容忍网络分区。简单的说，一致性指如果一个人向数据库写了一个值，那么其他用户能够立刻读取这个值，可用性意味着如果一些节点失效了，集群中的分布式系统仍然能继续工作，而容忍分区意味着，如果节点被分割成两组无法互相通信的节点，系统仍然能够继续工作
http://www.csdn.net/article/2013-01-07/2813498-availability-and-operational
对比关系型数据库，NoSQL的优点在哪里？NoSQL具有高性能、良好的扩展性以及高可靠性等优点。然而,没有一个产品可以在所有的方面都达到完美。当你仔细审视NoSQL的产品，完全可以找到一些弱点，就像那些杰出的优点一样“鲜明出众”。基于此原因，选择经过验证的NoSQL产品就是关键。在本文中，作者从运行方面分析Cassandra，HBase以及MongoDB等产品的扩展性和可靠性。
Cassandra故障恢复以及数据一致性

Cassandra在数据的分布式和可靠性方面展示了自身卓越的性能。首先，作者检测了它的分布能力，Cassandra通过一致性哈希算法来实现数据的分配处理。
Cassandra的一致性哈希算法
通过一致性哈希算法，用户可以不经过查询元数据就能搜索并发现key存储在哪个节点上。用户通过计算key的哈希值就能发现key，同样只通过Hash值就可以找到节点所在。你可以想像一致性哈希被作为哈希值顺序的放在圆环上，每个节点处理环上的一个部分。如果环上增加了一个节点，那么某个拥有很大体积数据的特定节点就会被拆分然后分配给新的节点；如果某个节点被移除，分配给该节点的资源就会转移到邻节点上。利用这种方式，Cassandra使增加或者移除节点带来的影响降到了最小。
Cassandra的运行中不需要主服务器，换句话说：并没有特定的服务器来管理数据的分配或者故障恢复。这就意味着，Cassandra并不存在单点故障（Single Point Of Failure，SPoF）。取代主服务器，每个节点都和其他节点周期性地分享元数据，这个也被称之为Gossip协议。使用Gossip协议，节点可以对其他节点的运行状态进行查询。
Cassandra通过提供一致性级别来实现系统的可靠性。如果使用一个很低的一致性级别，即使一个节点宕掉也可能导致整个服务的停滞。例如，3个节点中的某一个节点在存储副本数据的过程中宕掉了，一个通用的写操作，就不能立刻返回成功信息，这是因为故障节点不能完成写入数据的请求。然而，如果一致性级别被定义成一个约定值或者是1，而存活的节点数大于或者等于设定值，这样的话就能立刻返回成功。如果是这样的话，只有在所有的3个节点都同时宕掉，才会发生请求错误。
但是，读/写操作真的没有受到节点出错的影响吗？
为了证明这点，当有新节点添加时，作者在不断的服务器请求下故意让一个节点发生故障。结果如下所示：
移除一个节点和增加一个新的节点
以下是移除一个节点和增加一个新的节点的结果：
在管理工具中明确移除一个节点，存储在此节点中的数据就被迁移到剩余的节点中，然后该节点被移除。
当一个新节点被增加，这个被称之为引导指令，增加的节点就会向种子节点（seed nodes）报告它已经添加完毕。基于配置信息，新节点会被添加在环上配置信息中指定的范围，或者环上资源被占用最高的节的附近—— 当然这是在没有其它节点被引导在这个范围上。
数据从那个节点迁移到到新节点上。
一旦数据迁移进程结束，新节点就能进行使用。
节点失败后增加一个新节点
下面是节点失败后新增节点的结果：
当一个节点宕掉之后，存储在节点上的数据并没有迁移到其他的节点上，服务在于两个副本（节点）共舞。换句话说，并没有返回任何错误信息，即使在这段时间里又收到服务请求。
当一个新节点被增加的时候，该节点会被分配到环上的一个特定区域。然而，引导指令并没有执行，因为引导指令只有系统中存在3份副本的时候才会被执行！
新增的节点并没有数据，但是它能处理请求，这是因为它可以提供服务。如果此时接受到一个读请求，节点并不会对key返回数据。如果备份因子是3而读一致性的级别是1，那么1/3的读请求可能不会返回数据。如果一致性级别被设置为约定值，1/6的读请求可能会返回空数据。简单来讲，这没有读一致性的保证，除非故障节点已经恢复。实际上在级别1中，协调节点是最有可能第一个接受来自新节点的响应。出现这种情况是因为没有来自新节点的I/O请求——因为它没有数据。出于这个原因，新的节点比现有节点有更大的机率返回空数据。
当通过管理工具对新节点做Read Repair时，节点通过读其他节点的同步数据才能得以建立。此时读一致性就被破坏了，只到Read Repair完成。
即使节点失败，Cassandra也能提供无错的服务。尽管Cassandra在写数据的时候，展示了自身强大的性能，但是在读数据的时候并非如此，因为Read Repair的延迟必然导致数据的非一致性的延迟。因此，为了在节点故障中保持读一致性，需要使用以下的方法：
设置读一致性水平为“all”然后执行读操作。在这种情况下，就能获得所有来自副本的最新数据。
一旦读请求失败，Cassandra会再次进行尝试。这是因为在第一次读写的时候Read Repair可能会作为第二次读写时的恢源数据源。然而，这种方法能确保Rread Repair在二次读之前完成。（当一致性的水平较低，那么读修复就会在后台执行，这是一个独立的线程，区别于读操作过程的线程）
HBase的失败因子和恢复方法
HBase包含以下几个组件：

HRegionServer负责数据的分布处理，由HMaster进行监控。HDFS存储和复制数据，Zookeeper存储了HMaster以及备选HMaster的储存单元信息。如果没有为每个组件建立冗余，所有的组件都会成为SPoF。
HRegionServer主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBase中最核心的模块。HRegionServer内部管理了一系列HRegion对象，每个HRegion对应了Table中的一个Region，HRegion中由多个HStore组成。每个HStore对应了Table中的一个Column Family的存储，可以看出每个Column Family其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在一个Column Family中，这样最高效。(网络)
HRegionServer把数据分布到一些称之为“region”的单元中，region就是将一张大表格通过指定字段对数据进行排序，然后针对排序键的范围拆分出的结果（就像大表中的一小块）。每个region排序字段的值范围存储在一个单独的region中，被称为meta region。而region和meta region的对应关系被存储在root region中。长话短说，region服务器存储着一个层次树中，包含了root region、meta region以及data region。如果一个region服务器宕机，这个region服务器包含的region都不可以被访问直到被分配给了其它region服务器。因此产生了服务器宕机时间，直到那个region被恢复。

8. gossip 协议中消息传播有哪三种方式

1.感染—传染（Susceptible-Infective，SI）
2.感染—传染—感染（SIS）

3.感染—传染—恢复（SIR）

9. 怎样设置redis cluster的日志输出

Redis Cluster设计要点：

架构：无中心
Redis Cluster采用无中心结构，每个节点都保存数据和整个集群的状态
每个节点都和其他所有节点连接，这些连接保持活跃
使用gossip协议传播信息以及发现新节点
node不作为client请求的代理，client根据node返回的错误信息重定向请求

数据分布：预分桶
预分好16384个桶，根据 CRC16(key) mod 16384的值，决定将一个key放到哪个桶中
每个Redis物理结点负责一部分桶的管理，当发生Redis节点的增减时，调整桶的分布即可
例如，假设Redis Cluster三个节点A/B/C，则
Node A 包含桶的编号可以为: 0 到 5500.
Node B 包含桶的编号可以为: 5500 到 11000.
Node C包含桶的编号可以为: 11001 到 16384.
当发生Redis节点的增减时，调整桶的分布即可。
预分桶的方案介于“硬Hash”和“一致性Hash”之间，牺牲了一定的灵活性，但相比“一致性Hash“，数据的管理成本大大降低

可用性：Master-Slave
为了保证服务的可用性，Redis Cluster采取的方案是的Master-Slave
每个Redis Node可以有一个或者多个Slave。当Master挂掉时，选举一个Slave形成新的Master
一个Redis Node包含一定量的桶，当这些桶对应的Master和Slave都挂掉时，这部分桶对应的数据不可用

写
Redis Cluster使用异步复制
一个完整的写操作步骤：
1.client写数据到master
2.master告诉client "ok"
3.master传播更新到slave
存在数据丢失的风险：
1. 上述写步骤1）和2）成功后，master crash，而此时数据还没有传播到slave
2. 由于分区导致同时存在两个master，client向旧的master写入了数据。
当然，由于Redis Cluster存在超时及故障恢复机制，第2个风险基本上不可能发生

数据迁移
Redis Cluster支持在线增/减节点。
基于桶的数据分布方式大大降低了迁移成本，只需将数据桶从一个Redis Node迁移到另一个Redis Node即可完成迁移。
当桶从一个Node A向另一个Node B迁移时，Node A和Node B都会有这个桶，Node A上桶的状态设置为MIGRATING，Node B上桶的状态被设置为IMPORTING
当客户端请求时：
所有在Node A上的请求都将由A来处理，所有不在A上的key都由Node B来处理。同时，Node A上将不会创建新的key

多key操作
当系统从单节点向多节点扩展时，多key的操作总是一个非常难解决的问题，Redis Cluster方案如下：
1. 不支持多key操作
2. 如果一定要使用多key操作，请确保所有的key都在一个node上，具体方法是使用“hash tag”方案
hash tag方案是一种数据分布的例外情况