Flink+Kafka深度调优：流处理延迟直降70%
|
去年5月份那场面试，会议室空调滴水声比候选人说话还响。我原以为又是来背八股文的，结果这哥们开口就甩了句“Flink+Kafka调优？我们去年把P99从2.3秒干到700毫秒”。当时前台正在隔壁大声打电话，咖啡渍在简历表格上洇开一小片褐斑，他转着笔突然停住，补了句“优胜劣汰，没这手艺活不过Q3”。
文章配图，仅供参考 我差点笑出声——现在谁还拿延迟当KPI啊？结果他掏出手机划拉两下，监控截图上赫然标着“checkpoint间隔从30秒砍到8秒，Kafka消费者组偏移量提交策略从sync改async+batch”。我盯着屏幕右下角的时间戳，去年6月的记录，正好是我们系统崩溃那周。当时运维群里骂声一片，说Kafka消费者卡死，现在想想，可能真不是硬件问题。他接着说“反压那会儿，TaskManager堆外内存调了三次”。我翻简历的手顿了顿——这哥们之前在某直播平台干过，那地方延迟高50毫秒就掉量。他突然把简历在桌上转了半圈，指着项目经历里一行小字：“你们看，我们连网络缓冲区都动了，netty的SO_BACKLOG从5000调到20000，TCP_NODELAY强制开，丢包率从0.3%降到0.07%”。 我后颈有点发凉。上个月我们刚因为网络抖动丢过一批订单，运维部熬了三个通宵查日志，最后只抓到个“可能”是Kafka消费者重平衡的锅。这哥们现在说的这些，像把我们的伤疤掀开又撒了把盐。 他突然问：“你们现在用Kafka的哪版客户端？”我张了张嘴没答上来——我们还在用0.11.0.2，运维说“稳定压倒一切”。他冷笑一声：“0.11的fetch线程池是固定大小的，我们升到2.8.0后，把fetch.min.bytes从1改成1024，fetch.max.wait.ms从500改成100，消费者吞吐量直接翻番”。我摸出手机查了下，2.8.0的release note里确实有这行，但当时谁看得懂这种参数？ 走廊飘来消毒水味，他突然压低声音：“其实最狠的是我们改了Flink的并行度分配策略。默认是按slot均匀分，但我们把高延迟算子全塞到同一台机器的slot里，利用NUMA架构减少跨CPU缓存访问”。我盯着他转笔的手，笔杆上刻着“P99 （编辑：站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
