流水行云：支持可扩展的并行分布式流处理系统
摘要： 数据流处理系统，无论是集中式还是分布式，都需要克服单点瓶颈问题．不仅如此，如果数据流处理系
统是静态配置的，那么还会出现处理节点供给不足或者过剩的情况，为此本文提出了一种支持可扩展的并行分布式数
据流处理系统—流水行云，该系统根据有状态算子将查询拓扑划分为并行处理的子查询，并且通过有状态算子的分发
器和收集器实现了数据流的保序，同时最大化减少并行处理的通信开销，不仅如此，结合负载均衡和重配置的可扩展
技术使得该系统能够根据输入负载动态调整处理节点的负载和个数．６０个节点组成的集群的实验证明了该系统的可
扩展能力．
关键词： 流处理系统；可扩展；有状态算子；负载均衡；重配置
