搜索
目录问题如下:一解决问题一(kafka监听不到数据)二解决问题二(kafka为什么会有重复数据发送)三解决问题三(kafka数据重复如何解决)四解决问题四(为什么kafka会出现俩个消费端都可以消费问
2022-12-03
文章目录1、构成2、依赖组件3、系统架构图1、构成2、依赖组件nginx、Zeus、MySQL、Elasticsearch、cerebeo、kafka、brfs、redis、hadoop3、系统架构图
2022-11-26
第一种方法我的天啊经过几天奋战终于解决这个大坑我一定要写个博客纪念一下。首先引入依赖orgspringframeworkkafkaspringkafka很重要一定要看好依赖困扰了我很久其次写一个Kaf
2022-11-24
文章目录1安装2要求3使用31公共参数311SSL认证312SASL认证32输入插件typekafka33输入插件typekafka_group支持kafkagroup34输入插件typerdkafk
2022-11-24
前言在上一篇Kafka使用Java实现数据的生产和消费demo中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的consumer消费者的讲解。应用场景在上一篇kafka的cons
2022-11-13
前言在上一篇中讲述如何搭建kafka集群,本篇则讲述如何简单的使用kafka。不过在使用kafka的时候,还是应该简单的了解下kafka。Kafka的介绍Kafka是一种高吞吐量的分布式发布订阅消息系
2022-11-13
一、延时队列1简介TimingWheel是kafka时间轮的实现内部包含了⼀个TimerTaskList数组每个数组包含了⼀些链表组成的TimerTaskEntry事件每个TimerTaskList表
2022-11-12
环境准备角色划分系统CentOS7es主节点/es数据节点/kibana/head1921681253kafka/zookeeper/logstash1921681253日志测试/filebeat19
2022-11-12
目录双网卡bond网络配置1关闭NetworkManager2查看up状态的网卡以及信息3配置网卡4配置保存好后重启network服务配置主机名挂载镜像关闭selinux关闭防火墙安装配置NTP1修改
2022-11-11
在运行SparkStreaming程序时出现了这样的错Couldn’tfindleaderoffsetsforSet([tt,0],[tt,1],[tt,2])解决方法在kafka中的serverpr
2022-11-11
目录服务端配置1config目录添加kafka_server_jaasconf配置文件2kafkarunclasssh添加3config/serverproperties客户端接入改造完整配置示例综合
2022-11-10
Kafka事务原理生产者创建时设置全局唯一的事务IDTransactionID事务ID与PID绑定当producer重启后会根据事务ID查找PID因此能够保证全局atexactlyonce语义配置方法
2022-11-09
7Kafka生产者幂等性与事务71幂等性711简介就是执行多次操作与执行一次操作的影响是一样的。**举例**如果某个系统是不具备幂等性的如果用户重复提交了某个表格就可能会造成不良影响。例如用户在浏览器
2022-11-09
安装JDK查看是否安装了java,如果没有需要先安装javajavaversion安装javayuminstallyjava180openjdkx86_64kafka下载地址https://kafka
2022-11-09
saram是一个使用纯go语言编写的kafka库。sarama安装gogetgithubcom/Shopify/sarama生产消息异步packagemainimport(fmtgithubcom/S
2022-11-09
1、背景本人kafka使用小白使用kafkaproduce生产数据的时候从后台看kafkatopic有没有数据很不方便从网上找了找发现有个开源工具kafkaeagle比较好使。2、软件准备官方网站链接
2022-11-05
目录反转链表素数个数统计记录一些刷过的题目。。。反转链表publicclassReverseListDemo{publicstaticvoidmain(String[]args){ListNodeno
2022-11-05
描述程序有个任务监听kafka的topic当lag大于0时启动任务。当有天发现任务启动不起来用命令查看消费者的消费情况后发现有个分区的lag为负数在kafkatool中查看topic的分区情况发现有个
2022-10-21
作者:WilsonHejuejinim/post/5ea159e4f265da47f0794da5前言MQ的主要特点为解耦、异步、削峰,该文章主要记录与分享个人在实际项目中的RocketMQ削峰用法,
2022-10-04
如何保证消息不被重复消费,或者说如何保证消息幂等性。rbbitmq,rocketmq,kafka,都有可能出现消息重复消费的情况,以kafka来说kafka实际上有个offset的概念,就是每个消息写
2022-10-04