[摘要]  一、性能优化建议1. 提高jvm内存，经测吞吐无明显提高，可减少汇聚平均时延；2. 提高 batch.size,增加吞吐，同时时延增大 3. 增加send与receive buffer size (提高jvm heapsize) 4. 提高num.io.threads数量（吞吐量高时，磁盘IO阻塞...

[摘要]  kafka实现高吞吐主要是顺序写盘、pagecache、网络零拷贝技术特点。在模拟集群性能测试中发现当消息大于10KB时，集群出现吞吐下降及相应的时延问题。也就是说对于kafka来说大消息不能充分发挥高吞吐的特性（批处理）。所以对大消息如何处理呢？以下是个人建议及具体使用过程中配置参数供大家参考。1...

[摘要]  常说的ELK是指包括 elasticsearch、logstash 和 kibana 的一套技术栈，常用来处理日志等数据。其部署架构多种多样。常见的一种分离式的部署方式为：应用->kafka->logstash->elasticsearch->kibana。采用这种部署架构，需要解决的问题就是从ka...

[摘要]  转载：https://zhuanlan.zhihu.com/p/33375126 分布式系统类型多，涉及面非常广，不同类型的系统有不同的特点，批量计算和实时计算就差别非常大。这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。 我们先来...

[摘要]  问题描述：客户端接收数据，接收不下来，服务端日志显示数据已经发送完成；问题排查：Netstat命令查看revc-q队列有数据积压没有读完，队列中缓存的数据大小持续不变，客户端应用没有接收完成； 使用netstat -an观察时，recv-q值维持在3628长时间不变；问题原因： 再接收数...