通过Kafka的快速入门 https: www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署，使用，但他和其他的消息中间件有什么不同呢？ Kafka的基本原理，术语，版本等等都是怎么样的？到底什么是Kafka呢？ 一、Kaf...[2019/8/16]

通过https: www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解。producer比consumer要简单一些。 一、旧版本producer 0.9.0.0版本以前，是由scala编写的旧版本producer。 入口类：k...[2019/8/7]

了解了什么是kafka（ https: www.cnblogs.com/tree1123/p/11226880.html）以后 学习Kafka核心之消费者，kafka的消费者经过几次版本变化，特别容易混乱，所以一定要搞清楚是哪个版本再研究。 一、旧版本consumer 只有旧版本（0.9以前）...[2019/7/26]

1.kafka consumer流程1.1.在启动时或者协调节点故障转移时，消费者发送ConsumerMetadataRequest给bootstrap brokers列表中的任意一个brokers。在ConsumerMetadataResponse中，它接收消费者对应的消费组所属的协调节点的位置...[2019/7/25]

通过Kafka的快速入门 https: www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署，使用，但他和其他的消息中间件有什么不同呢？ Kafka的基本原理，术语，版本等等都是怎么样的？到底什么是Kafka呢？ 一、Kafka简介 ...[2019/7/23]

消息队列内部实现原理 两种消息传输方式 Kafka kafka 简介 kafka 集群角色 Kafka 工作流程分析 Kafka 生产过程分析 写入方式 分区(partition) 副本(replication) 写入数据 Broker 保存消息 存储方式 存储策略 ZooKeeper...[2019/7/22]

 工作案例:     大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险。需要立刻把副本数改为3个。     开始干活，首先想到的是下面的命令：     $...[2019/7/19]

消费组和消费者 消费组和消费者是一对多的关系。 同一个消费组的消费者可以消费多个分区，且是独占的。 消费者的分区分配策略由接口PartitionA ignor定义，内置三种分配策略RangeA ignor、RoundRobinA ignor、StickyA ignor，支持自定义策略。 不同消费组...[2019/7/17]

  KafKa的集群搭建 准备3台虚拟机 192.168.140.128 kafka01 192.168.140.129 kafka02 192.168.140.130 kafka03   初始化环境   这里使用的是root账户 ...[2019/7/11]

参考官网：http: kafka.apache.org/quickstart 一、下载Kafka 官网下载地址 http: kafka.apache.org/downloads 截至2019年7月8日 最新版本为 2.3.0 2.12为编译的scala版本 2.3.0为kafka版本 Sc...[2019/7/9]

Kafka集群安装 主节点h201，从节点h202、h203 1.安装jdk1.8 [hadoop@h201 ~]$ /usr/jdk1.8.0_144/bin/java -version 2.安装zookeeper kafka集群需要 zookeeper支持 [hadoop@h201 ~]$ ...[2019/7/8]

1.主题管理 kafka-topics.sh工具脚本用于对主题操作，如创建、删除、修改、分区数、副本数及主题级别的配置。 1.1创建名为kafka-test主题，有2个副本，3个分区 [hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics...[2019/7/8]

一．什么是kafkakafka的目标是实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。是分布式发布-订阅消息系统，是一个分布式的，可划分的，冗余备份的持久性的日志服务。Kafka使用场景：1 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开...[2019/7/5]

KafkaConsumer(消费者)每次调用 poll()方法，它总是返回由生产者写入 Kafka但还没有被消费者读取过的记录， 我们因 此可以追踪到哪些记录是被群组里的哪个消费者读取的。之前已经讨论过， Kafka 不会像其他 JMS 队列那样需要得到消费者的确认，这是 Kafka 的一个独特之...[2019/6/6]

Kafka se ion.timeout.ms heartbeat.interval.ms参数的区别以及对数据存储的一些思考 在计算机世界中经常需要与数据打交道，这也是我们戏称CURD工程师的原因之一。写了两年代码，接触了不少存储系统，Redis、MySQL、Kafka、Elasticsearch...[2019/6/3]

不管是把 Kafka 作为消息队列、消息、总线还是数据存储平台来使用 ，总是需要有一个可以往 Kafka 写入数据的生产者和一个可以从 Kafka读取数据的消费者，或者一个兼具两种角 色的应用程序。 例如，在一个信用卡事务处理系统里，有一个客户端应用程序，它可能是一个在线商店， 每当有支付行为...[2019/5/29]

Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。 即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应...[2019/5/8]

　　最近在搞Kafka集群监控，之前也是看了网上的很多资料。之所以使用jmxtrans+influxdb+grafana是因为界面酷炫，可以定制化，缺点是不能操作Kafka集群，可能需要配合Kafka Manager一起使用。 　　环境信息 　　CentOS Linux release 7....[2019/4/11]

两张图读懂kafka应用： Kafka 中的术语  　　  broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 　　topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数...[2019/4/11]

一、Kafka概述   　　1.Kafka是一个分布式流媒体平台，它有三个关键功能： 　　　(1)发布和订阅记录流，类似于消息队列或企业消息传递系统； 　　　(2)以容错的持久方式存储记录流； 　　　(3)记录发送时处理流。 　　2.Kafka通常应用的两大类应用...[2019/3/1]

一、接口回调+自定义分区 　　1.接口回调：在使用消费者的send方法时添加Callback回调   producer.send(new ProducerRecord<String, String>("xinnian", "20" + i + "年新年好！"), ...[2019/3/1]

一、SLF4J: Failed to load cla "org.slf4j.impl.StaticLoggerBinder". 这个报警告的原因简单来说时因为slf4j的版本和log4j的版本不匹配。 解决办法： 　　1.在你的maven库中查找你的slf4j版本，若有两个，最后选...[2019/2/28]

本文由云+社区发表 一、困难点 建立topic的时候，可以通过指定参数 --replication-factor 设置备份数量。但是，一旦完成建立topic，则无法通过kafka-topic.sh 或者 命令修改replica数量。 二、解决办法 ? 实际上，我们可以考虑一种 “另类” 的...[2019/1/9]

Kafka消息的存储 Kafka的设计基于一种非常简单的指导思想：不是要在内存中保存尽可能多的数据，在需要时将这些数据刷新（flush）到文件系统，而是要做完全相反的事情。所有数据都要立即写入文件系统中持久化的日志中，但不进行刷新数据的任何调用。实际中这样做意味着，数据被传输到OS内核的页面缓存...[2019/1/7]

Flume+Kafka+Storm+Hbase+HDSF+Poi整合 需求： 针对一个网站，我们需要根据用户的行为记录日志信息，分析对我们有用的数据。 举例：这个网站www.hongten.com（当然这是一个我虚拟的电商网站），用户在这个网站里面可以有很多行为，比如注册，登录，查看，点...[2018/12/24]

初识中间件Kafka Author：SimplelWu 什么是消息中间件？ 非底层操作系统软件，非业务应用软件，不是直接给最终用户使用的，不能直接给客户带来价值的软件统称为中间件 关注于数据的发送和接收，利用高效可靠的异步消息传递机制集成分布式系统。 什么是Kafka？ Kafka是一种...[2018/12/19]

Flume+Kafka+Storm整合 1. 需求： 有一个客户端Client可以产生日志信息，我们需要通过Flume获取日志信息，再把该日志信息放入到Kafka的一个Topic：flume-to-kafka 再由Storm读取该topic：flume-to-kafka，进行日志分析处理...[2018/12/19]

参考：  http: www.cnblogs.com/yxwkf/p/5092589.html 1. 安装包下载 下载地址：https: github.com/claudemamo/kafka-web-console/releases 目前最新是2.0.0版本 2.编...[2018/12/11]

  1，Filebeat简介 Filebeat是一个使用Go语言实现的轻量型日志采集器。在微服务体系中他与微服务部署在一起收集微服务产生的日志并推送到ELK。 在我们的架构设计中Kafka负责微服务和ELK的分离，Filebeat负责收集微服务的日志并推送到Kafka中，如图： ...[2018/12/3]

Apache Kafka官网提供的性能说明： Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)[2018/11/25]

一.Mapper和Scheme scheme:将kafka传到spout里的数据格式进行转化. record->tuple mapper:将storm传到kafka的数据格式进行转化.tuple->record 二.为什么要自定义消息格式 在很多需求里, 从kafka传递过来的数据...[2018/11/23]

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由michelmu发表于云+社区专栏 Elasticsearch作为当前主流的全文检索引擎，除了强大的全文检索能力和高扩展性之外，对多种数据源的兼容能力也是其成功的秘诀之一。而Elasticsearch强大的数据源兼容能力，主...[2018/11/13]

1、下载kafka安装包2、将kafaka安装包利用工具加载到Linux系统下3、将kafka安装包解压到/usr/local 　　　tar -xvf kafka -C /usr/local/4、进入到/usr/local/kafka/config目录下 　　　修改server.properties...[2018/11/8]

1.       kafka介绍  1.1.       主要功能 根据官网的介绍，ApacheKafka?是一个分布式流媒体平台，它主要有3种功能： 　　1：It ...[2018/10/30]

业界对于消息的传递有多种方案和产品， 本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比 在应用场景方面，RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。 kafka是Linkedin于2010年1...[2018/9/26]

  1. JMS是什么 1.1. JMS的基础        JMS是什么：JMS是Java提供的一套技术规范 　　JMS干什么用：用来异构系统 集成通信，缓解系统瓶颈，提高系统的伸缩性增强系统用户体验，使得系统模块化和组件...[2018/9/25]

  参考博文：kafka 配置文件参数详解 参考博文：Kafka【第一篇】Kafka集群搭建 参考博文：如何为Kafka集群选择合适的Partitions数量 参考博文：Kafka Server.properties 参考博文：kafka常用配置【重要】 参考博文：kafka...[2018/9/25]

  参考博文：Kafka消费组(consumer group) 参考博文：kafka 1.0 中文文档（九）：操作 参考博文：kafka集群管理工具kafka-manager部署安装          &n...[2018/9/25]

简介     Kafka经常用于实时流数据架构，用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。     kafka的增长是爆炸性的。2017年超过三分之一的世界五百强公司在使用kafka。这其中很多公司每天通...[2018/9/25]