大数据架构师必懂的5大实时计算技术要点

　　去年四月份，我们线上实时风控接口突然开始飘——不是崩，是每分钟掉三五个请求，响应时间从两百毫秒慢慢爬到八百、一千二，最后卡在一千五上下打晃。运维查了三小时说Kafka lag正常、Flink jobmanager没OOM、CPU也没打满，就盯着那个99.97%的P99延迟曲线，跟看心电图似的。

　　我蹲在监控大屏前，手里攥着半杯凉透的美式，旁边坐着新来的架构师老周，他指着Flink Web UI里一个标红的subtask说：“你看这个state backend的RocksDB写放大是不是太高了？”我说我原以为是CheckPoint超时导致反压，结果翻了一圈配置发现checkpointInterval设的是六十秒，但实际触发间隔全是七十一、七十三、七十六……全卡在七十几秒整数点上。

　　第七次重启后，他突然把鼠标停在taskmanager日志最后一行：“2023-04-12 14:28:59,301 INFO org.apache.flink.runtime.taskmanager.Task - Triggering checkpoint 13687 for job a2e9f0d…”，我俩同时盯住那个“301”——毫秒级戳，可整个集群所有TM打的日志，这个301全他妈一模一样，差零点零几毫秒都不带偏的。我手抖点开另一台机器的日志文件，Ctrl+F输“301”，搜出二十八条，全集中在14:28:59这一秒内。老周当时就笑了：“同步NTP？谁干的？”

文章配图，仅供参考

　　第五次回滚配置前，我把那段日志截图发群里，配字就一句：“优胜劣汰真不是比喻。”群里没人接话，三分钟后，产品在下面回：“要不先切回离线兜底？”老周把耳机摘下来搁桌上，说：“上次双十一前也是这儿卡过，你们知道为啥没暴露吗？因为那时我们还没接入支付侧的实时拒单链路。”（打印机卡纸卡了整整二十来分钟，没人去抽）

　　所以现在我信这句话了：不是懂了五种技术就能镇住场面，是当Kafka分区突然跳变、Flink state key group重分配、下游sink连接池耗尽、心跳探针超时、JVM GC pause打穿SLA——这五件事在同一次GC cycle里撞一块儿的时候，你得凭肌肉记忆切进那个对的现场。反正我没见过哪个架构师靠背技术要点把漂移的P99拉回来的。我就记得那天下午三点零七分，老周往自己终端敲了三条命令，其中第二条执行完后，大屏上那个1523ms的红色尖峰，“啪”一下矮下去半截——像有人拿刀削平了山头。

　　有谁碰到过NTP校准后Flink Checkpoint timestamp集体凝固的吗？

（编辑：航空爱好网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!