Kafka 幂等和事务
2022年5月6日 · 10626 字 · 22 分钟 · Kafka
一、幂等性1.1、Exactly-Once保证在消息重发的时候，消费者不会重复处理。即使在消费者收到重复消息的时候，重复处理，也要保证最终结
Kafka 分区副本重分配、数据迁移、副本扩缩容
2022年5月6日 · 2073 字 · 5 分钟 · Kafka
一、脚本的使用介绍该脚本是 kafka 提供用来重新分配分区的脚本工具； 1.1、生成推荐配置脚本关键参数 --generate。 在进行分区副本重分配之前，
Kafka 集群部署
2022年5月6日 · 5585 字 · 12 分钟 · Kafka
一、Kafka 基本概念和系统架构在 Kafka 集群中存在以下几种节点角色： Producer：生产者，生产消息并推送到 Kafka 集群中。 Consumer：消费者
Kafka 数据迁移
2022年5月6日 · 2144 字 · 5 分钟 · Kafka
两种迁移场景，分别是：同集群数据迁移、跨集群数据迁移。 一、同集群迁移同集群之间数据迁移，比如在已有的集群中新增了一个 Broker 节点，此时需要将原来集
Kafka 脚本补全
2022年5月6日 · 4281 字 · 9 分钟 · Kafka
1、概览kafka 安装目录下的 bin 目录包含了很多运维可操作的 shell 脚本，列举如下： 脚本名称 用途描述 connect-distributed.sh 连接 kafka 集群模式 connect-standalone.sh 连接 kafka 单机模式 kafka-acls.sh todo kafka-broker-api-versions.sh todo kafka-configs.sh 配置管
Kafka 安全(SASL+ACL)
2022年5月6日 · 2349 字 · 5 分钟 · Kafka
一、Security在 Kafka 的官方文档中介绍了如下几种安全方式，以满足用户不同场景对安全的需求。 SASL/GSSAPI (Kerberos) - starting at version 0.9.0.0。主要是为 Kerberos 使用，如果
Kafka Tool
2022年5月6日 · 252 字 · 1 分钟 · Kafka
一、下载安装下载地址：Offset Explorer 根据不同的系统下载对应的版本。 [atguigu@hadoop102 kafka]$ find ./libs/ -name *kafka_* | head -1 | grep -o 'kafka[^ ]*' kafka_2.12-3.0.0.jar 二、简单使用2.1、连接kafka 设置完了，
@KafkaListener 注解
2022年5月6日 · 2589 字 · 6 分钟 · Kafka
一、简介Kafka 目前主要作为一个分布式的发布订阅式的消息系统使用，也是目前最流行的消息队列系统之一。本文集成的框架 spring-kafka
Kafka | 生产调优
2022年5月6日 · 7608 字 · 16 分钟 · Kafka
一、Kafka 硬件配置选择1.1、场景说明100 万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条。 1 亿 / 24 小时 / 60 分 / 60 秒 =