排查思路指引:https://vip.kingdee.com/article/257107832364362496?productLineId=29&isKnowledge=2
1、根据以上文章排查到kafka端topic 并没有收到日志(上面文章章节: 1.3 检查日志有没有输出到kafka和es)
2、在容器启动日记中发现打印出以下日志:1:02:20 [log-kafka-pull] INFO org.apache.kafka.clients.producer.internals.TransactionManager.transitionToFatalError(398): [Producer clientId=producer-2] Transiting to fatal error state due to org.apache.kafka.common.errors.UnsupportedVersionException: Attempting to use idempotence with a broker which does not support the required message format (v2). The broker must be version 0.11 or later.
3、随后找云架构支持群老师帮忙指引方向,怀疑可能是银企ebg 那边配置文件覆盖导致,最后找到ebg 那边老师拿到私包升级,问题仍没有解决,获取monitor对应log.conf 参数配置后,确认已没有ebg的配置
4、将以上信息反馈云架构支持群问相应的值班老师,后来得到回复是因为kafka版本的问题,升级会问题解决。
追溯问题,查了下当前环境中的版本是kafka_2.11-0.10.1.1 (kafka 是0.10版本),结合日记提示broker要0.11 或更高版本。由于运维知识欠缺,无法做出反应需要升级kafka版本。后来云架构老师建议升级2.12-2.8.2 ,在官网下载该版本后进行升级,升级参考:https://developer.kingdee.com/article/302493968515104256?productLineId=29&isKnowledge=2 kafka升级指南
仅做总结记录,便于后期遇到同样问题能够快速解决。
推荐阅读