适应元组分布倾斜的分布式日志流处理系统

赵静芬  张鹏  孙永  刘庆云 



针对分布式流处理系统中当输入数据的键值呈现倾斜分布时工作节点负载不均衡的问题,提出一种适应元组分布倾斜的流划分策略。该策略使用lossy counting算法计算键值出现的频率,以区分热键和非热键,同时,在数据源节点上维护一个多维向量,以记录每个工作节点的负载。当一个键值为热键的流元组到达后,数据源节点查询每个节点的负载,然后将该元组发送给负载最小的节点进行处理。在集成了该流划分策略的分布式流处理系统中运行的实验表明,与按键值划分的策略相比,该策略具有更好的负载均衡性,使系统的吞吐量提升40%,与随机划分相比,内存开销降低55%。




首页
团队介绍
发展历史
组织结构
MESA大事记
新闻中心
通知
组内动态
科研成果
专利
论文
项目
获奖
软著
人才培养
MESA毕业生
MESA在读生
MESA员工
招贤纳士
走进MESA
学长分享
招聘通知
招生宣传
知识库
文章
地址:北京市朝阳区华严北里甲22号楼五层 | 邮编:100029
邮箱:nelist@iie.ac.cn
京ICP备15019404号-1