kafka 获取metadata

问题:

<Failed to update metadata after 3000 ms.>

 

sender类的发送数据时候,会

List<ClientResponse> responses = this.client.poll(requests, pollTimeout, now);//nio 发送数据

 

NetworkClient类,方法poll,检查metadata是否需要更新

方法:

    /**
     * Add a metadata request to the list of sends if we can make one
     */
    private void maybeUpdateMetadata(List<NetworkSend> sends, long now) {
        // Beware that the behavior of this method and the computation of timeouts for poll() are
        // highly dependent on the behavior of leastLoadedNode.
        // 最新的可用node
        Node node = this.leastLoadedNode(now);
        if (node == null) {
            log.debug("Give up sending metadata request since no node is available");
            // mark the timestamp for no node available to connect
            this.lastNoNodeAvailableMs = now;
            return;
        }

        log.debug("Trying to send metadata request to node {}", node.id());
        if (connectionStates.isConnected(node.id()) && inFlightRequests.canSendMore(node.id())) {
            Set<String> topics = metadata.topics();
            this.metadataFetchInProgress = true;
            //生成metadata请求,加入到sends队列中
            ClientRequest metadataRequest = metadataRequest(now, node.id(), topics);
            log.debug("Sending metadata request {} to node {}", metadataRequest, node.id());
            sends.add(metadataRequest.request());
            this.inFlightRequests.add(metadataRequest);
        } else if (connectionStates.canConnect(node.id(), now)) {
            // we don't have a connection to this node right now, make one
            log.debug("Init connection to node {} for sending metadata request in the next iteration", node.id());
            initiateConnect(node, now);
            // If initiateConnect failed immediately, this node will be put into blackout and we
            // should allow immediately retrying in case there is another candidate node. If it
            // is still connecting, the worst case is that we end up setting a longer timeout
            // on the next round and then wait for the response.
        } else { // connected, but can't send more OR connecting
            // In either case, we just need to wait for a network tevent to let us know the seleced
            // connection might be usable again.
            this.lastNoNodeAvailableMs = now;
        }
    }

 

    

选择一个请求最少,并且链接状态可用的host,作为获取metadata的host

这里

 

/**
     * Choose the node with the fewest outstanding requests which is at least eligible for connection. This method will
     * prefer a node with an existing connection, but will potentially choose a node for which we don't yet have a
     * connection if all existing connections are in use. This method will never choose a node for which there is no
     * existing connection and from which we have disconnected within the reconnect backoff period.
     * @return The node with the fewest in-flight requests.
     */
    public Node leastLoadedNode(long now) {
        List<Node> nodes = this.metadata.fetch().nodes();
        int inflight = Integer.MAX_VALUE;
        Node found = null;
        for (int i = 0; i < nodes.size(); i++) {
            int idx = Utils.abs((this.nodeIndexOffset + i) % nodes.size());
            Node node = nodes.get(idx);
            int currInflight = this.inFlightRequests.inFlightRequestCount(node.id());
            if (currInflight == 0 && this.connectionStates.isConnected(node.id())) {
                // if we find an established connection with no in-flight requests we can stop right away
                return node;
            } else if (!this.connectionStates.isBlackedOut(node.id(), now) && currInflight < inflight) {
                // otherwise if this is the best we have found so far, record that
                inflight = currInflight;
                found = node;
            }
        }

        return found;
    }

 

 

 

 

Kafka源码阅读(二):Producer Metadata概述及源码分析 上一篇博文Kafka源码阅读(一):Kafka Producer整体架构概述和源码分析(一)介绍了Kafka 生产者发送消息的主要流程和计算分区等机制,接下来这篇博文将对Kafka更新Producer Metadata的机制进行讲解说明。 Metadata 什么是metadata metadataKafka集群的元数据,包含了Kafka集群的各种信息,例如如: 集群中有哪些节点; 集群中有... 阅读详情

相关推荐

kafkakafka Producer Metadata概述及源码分析

转载:Kafka源码阅读(二):Producer Metadata概述及源码分析什么是metadatametadataKafka集群的元数据,包含了Kafka集群的各种信息,例如如:metadata应用场景metadataKafka中无疑是非常重要的,很多场景中都需要从metadata获取数据或更新数据,例如:指Kafka集群中所有node中,它是由每个node再InFlightRequests中还未确定的请求数决定的,未确定的请求越少则负载越小。如上图所示,node1即为LeastLoadedNo

九师兄 1281

kafka学习笔记(四):源码角度理解metadata

Kafka更新metadata的总体流程 Kafka集群元数据 Kafka每个Topic中有多个分区,这些分区的Leader副本可以分配在集群中不同的Broker上。我们站在生产者的角度来看,分区的数量以及Leader副本的分布是动态变化的。通过简单的示例说明这种动态变化:在运行过程中,Leader副本随时都有可能出现故障进而导致Leader副本的重新选举,新的Leader副本会在其他Broker上继续对外提供服务。当需要提高某Topic的并行处理消息的能力时,我们可以通过增加其分区的数量来实现。当然,还

BlueLotuss的博客 1445

kafka】查看消费组报错 Executing consumer group command failed due to Request METADATA failed on brokers Lis

kafka查看消费组报错 cc@lcc bin$ /Users/lcc/soft/kafka/kafka_2.11-1.1.0/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:2181,localhost:2182,localhost:2183 --list The [new-consumer] ...

九师兄 8732

Kafka Metadata

LibrdkafkaKafka Metadata的封装和操作 我们在之前的Kafka源码分析系列中介绍过kafka集群的metadata, 大家可以参考一下; 简单说, kafka集群的metadata包括: 所有broker的信息: ip和port; 所有topic的信息: topic name, partition数量, 每个partition的leader, isr, repli...

lusic01的专栏 3680

四、Kafka的元数据-MetaData

1、元数据(MetaData): 服务器活动状态 Topic和Topic的分区 Partition都有哪些Replication 哪个Replication是Leader ps: 一般情况下,客户端会把元数据缓存起来,并直接往目标Broker上发送生产请求和获取请求。 客户端需要定时发送元数据请求来刷新这些信息。 2、元数据请求时序图: ...

qq_31473465的博客 2747

kafka java获取topic_通过编程方式获取KafkaTopic的Metadata信息

如果我们需要通过编程的方式来获取TopicMetadataRequest请求到 def findLeader(topic: String): Unit = {val consumer = connect("www.iteblog.com", 9092)val req = TopicMetadataRequest(TopicMetadataRequest.CurrentVersion,0, kaf...

weixin_35308269的博客 2337

通过编程方式获取KafkaTopic的Metadata信息

http://www.iteblog.com/archives/1604

u011007180的博客 2671

kafka源码的笔记 (2) - Producer第一次获取Broker的metadata

weixin_40315239的博客 251

Kafka中的Metadata

强烈推荐去看,写的太详细了。这里只做个人学习笔记。

m0_47160811的博客 1241

吃透Kafka五:Producer Metadata 更新机制

在上一篇文章中,已经介绍了 Producer 的发送模型,Producer dosend() 方法中的第一步,就是获取相关的 topic 的 metadata,但在上篇中并没有深入展开,因为这部分的内容比较多,所以本文单独一篇文章进行介绍,本文主要来讲述以下三个问题: metadata 内容是什么。 Producer 更新 metadata 的流程。 Producer 在什么情况下会去更新 metadataMetadata 内容 Metadata 信息的内容可以通过源码看明白: // 这个类被 cl

吃透Java 3824

Kafka Producer 与 Metadata

参考: https://www.jianshu.com/p/46cb44c6b96c https://blog.csdn.net/chunlongyu/article/details/52622422 https://bigzuo.github.io/2017/03/13/Kafka-producer-%E5%8F%91%E9%80%81%E6%95%88%E7%8E%87%E4%BD%8E...

justsomebody126的专栏 869

Kafka源码分析(三)——Producer:Metadata集群元数据

本章,我对Producer的Topic元数据拉取机制进行了讲解,Topic的元数据都是按需拉取的,这是一种延迟加载的思想。Sender线程成功的在时间内(默认60秒),把Topic元数据加载到了,然后缓存到了Metadata里去,更新了version版本号,此时会尝试把阻塞等待的主线程唤醒;主线程等待超过60秒,Sender线程还没有完成元数据加载,则抛出超时异常。另外,Sender线程在实际拉取元数据时,会挑选一个负载最小的Broker节点,然后向这个 节点发送请求来获取具体的元数据信息。

smart_an的专栏 1047

三、Kafka生产者4---核心组件[元数据]-Metadata

本文介绍了Kafka客户端元数据保存了那些数据及其结构,分别为:节点---Node,主题分区-TopicPartition,分区详情-PartitionMetadata/PartitionInfo

Vanchat的博客 2640

聊聊 Kafka:Producer Metadata 读取与更新机制

学习技术一定要制定一个明确的学习路线,这样才能高效的学习,不必要做无效功,既浪费时间又得不到什么效率,大家不妨按照我这份路线来学习。大家不妨直接在牛客和力扣上多刷题,同时,我也拿了一些面试题跟大家分享,也是从一些大佬那里获得的,大家不妨多刷刷题,为金九银十冲一波!《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取!6456)]大家不妨直接在牛客和力扣上多刷题,同时,我也拿了一些面试题跟大家分享,也是从一些大佬那里获得的,大家不妨多刷刷题,为金九银十冲一波!

2401_84048935的博客 1031

kafka 请求 UpdateMetadata 处理

集群 Controller 负责元数据的管理,保存有一个 event 事件队列,如果 event 事件是通知其他节点更新集群元数据的话就会广播元数据更新请求出去。NetworkClient.doSend() 发送集群内部请求 ApiKey=UPDATE_METADATA (org.apache.kafka.clients.NetworkClient)KafkaApis.handleUpdateMetadataRequest() => 更新元数据。// 主副本所在 brokerId。

这个人很懒什么都没有~ 961

kafka问题集锦

一. org.apache.kafka.common.errors.TimeoutException: Batch Expired 问题描述:通过java客户端访问kafka服务器,当生产者线程向kafka插入数据时候出现该错误 问题分析:批处理过期 1.检查kafkaip地址是否访问正常 telnet ip port   2. 正常情况下,检查配置文件是否配置正确 在c...

weixin_34380296的博客 342

Kafka源码分析Producer读取Metadata的数据结构及Metadata两种更新机制介绍

为什么80%的码农都做不了架构师?>>> ...

weixin_34342578的博客 452
上一篇: kafka leader balance
下一篇: java内存使用查看 转
blackproof
博客等级 码龄17年 11粉丝 543原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值