经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » Apache Kafka » 查看文章
Kafka常见错误整理(不断更新中)
来源:cnblogs  作者:独孤风  时间:2019/9/17 11:03:38  对本文有异议

1、UnknownTopicOrPartitionException

  1. org.apache.kafka.common.errors.UnknownTopicOrPartitionException:
  2. This server does not host this topic-partition

报错内容:分区数据不在

原因分析:producer向不存在的topic发送消息,用户可以检查topic是否存在 或者设置auto.create.topics.enable参数

2、LEADER_NOT_AVAILABLE

  1. WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient

报错内容:leader不可用

原因分析:原因很多 topic正在被删除 正在进行leader选举 使用kafka-topics脚本检查leader信息

进而检查broker的存活情况 尝试重启解决

3、NotLeaderForPartitionException

  1. org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition

报错内容:broker已经不是对应分区的leader了

原因分析:发生在leader变更时 当leader从一个broker切换到另一个broker时,要分析什么原因引起了leader的切换

4、TimeoutException

  1. org.apache.kafka.common.errors.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has passe

报错内容:请求超时

原因分析:观察哪里抛出的 观察网络是否能通 如果可以通 可以考虑增加request.timeout.ms的值

5、RecordTooLargeException

  1. WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException

报错内容:消息过大

原因分析:生产者端 消息处理不过来了 可以增加 request.timeout.ms 减少 batch.size

6、Closing socket connection

  1. Closing socket connection to/127,0,0,1.(kafka.network.Processor)?

报错内容:连接关闭

原因分析:如果javaApi producer版本高,想在客户端consumer启动低版本验证,会不停的报错

无法识别客户端消息。

7、ConcurrentModificationException

  1. java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access

报错内容:线程不安全

原因分析:Kafka?consumer是非线程安全的

8、NetWorkException

  1. [kafka-producer-network-thread | producer-1] o.apache.kafka.common.network.Selector : [Producer clientId=producer-1] Connection with / disconnected

报错内容:网络异常

原因分析:网络连接中断 检查broker的网络情况

9、ILLEGAL_GENERATION

  1. ILLEGAL_GENERATION occurred while committing offsets for group

报错内容:无效的“代”

原因分析:consumer错过了 rebalance 原因是consumer花了大量时间处理数据。

需要适当减少 max.poll.records值 增加 max.poll.interval.ms 或者想办法增加消息处理的速度

未完待续~~~

更多实时计算,Flink,Kafka等相关技术博文,欢迎关注实时流式计算

file

原文链接:http://www.cnblogs.com/tree1123/p/11531524.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号