面向工业互联的安全数据库产品（201910）

依托重庆市工业控制系统信息安全技术研发中心、重庆市高校机器人与智能制造技术重点实验室等平台，共同开展智能制造与工业互联网产品与技术研发。由于制造车间设备的任意添加、生产计划的增多会进一步加大系统数据量，架构设计需要保证可以在不更改业务逻辑程序的情况下，通过向Kafka集群中添加服务器来提高服务容量。但随着服务节点的不断增多，设备宕机概率增高。因此，在设计中加入 Zookeeper作为分布式协调器，用于完成添加节点或节点失效时，集群的辅助调整任务。因此可实现集群具有横向拓展能力的同时，保持高可用性；支持高容错率的高速并发读写。为防止数据采集系统产生数据或 数据处理模块消费数据过快，Kafka无法及时响应，架构设计中采用了 多线程生产者与处理模块分组的策略。多线程生产者可以同时向 Kafka 不同Topic发送数据，由于Topic本身的独立性，该方式能够将Kafka接 收数据的速率提升数倍。同时，将接收相同数据的处理模块分配至统一消费组，保证仅发送一份相同数据，降低数据冗余的同时，提升Kafka 消费者服务能力；支持完备数据安全性与消费进度记录。为使集群中任意节点宕机 时消息数据的安全性，将Topi在分区的粒度级别，在集群中进行冗余， 保证只要集群中未失效节点占多数，消息数据就不会丢失。同时，利用 Zookeeper保存处理模块消费进度，防止数据处理模块离线后再次上线 重复消费相同数据而产生错误冗余结果。