kafka消息堆积 发表于 2020-11-04 | 分类于 消息队列 字数统计: 1.2k | 阅读时长 ≈ 4 [TOC] 面试题如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决? 面试官心理分析你看这问法,其实本质针对的场景,都是说,可能你的消费端出了问题,不消费了;或者消费的速度极其慢。接着就坑爹了,可能你的消息队列集群的磁盘都快写满了,都没人消 ... 阅读全文 »
如何保证消费的幂等性(不重复消费) 发表于 2020-11-04 | 分类于 消息队列 字数统计: 1.4k | 阅读时长 ≈ 5 [TOC] Kafka 实际上有个 offset 的概念,就是每个消息写进去,都有一个 offset,代表消息的序号,然后 consumer 消费了数据之后,每隔一段时间(定时定期),会把自己消费过的消息的 offset 提交一下,表示“我已经消费过了,下次我要是重启啥的,你就让我继续从上次消费到的 ... 阅读全文 »
zookeeper在kafka中的作用 发表于 2020-11-04 | 分类于 消息队列 字数统计: 1.7k | 阅读时长 ≈ 6 [TOC] Zookeeper 在 Kafka 中的作用1、Broker注册Broker是分布式部署并且相互之间相互独立,但是需要有一个注册系统能够将整个集群中的Broker管理起来,此时就使用到了Zookeeper。在Zookeeper上会有一个专门用来进行Broker服务器列表记录的节点: /b ... 阅读全文 »
kafka如何保证不丢失消息 发表于 2020-11-04 | 分类于 消息队列 字数统计: 1.6k | 阅读时长 ≈ 6 [TOC] 生产者丢失消息的情况生产者(Producer) 调用send方法发送消息之后,消息可能因为网络问题并没有发送过去。 所以,我们不能默认在调用send方法发送消息之后消息消息发送成功了。为了确定消息是发送成功,我们要判断消息发送的结果。但是要注意的是 Kafka 生产者(Producer ... 阅读全文 »
kafka剖析 发表于 2020-11-04 | 分类于 消息队列 字数统计: 3.3k | 阅读时长 ≈ 11 [TOC] kafka的架构 Producer: 消息生产者,向 Kafka Broker 发消息的客户端。 Consumer: 消息消费者,从 Kafka Broker 取消息的客户端。 Consumer Group: 多个消费者实例共同组成的一个组,同时消费多个分区以实现高吞吐。 重平衡:Reb ... 阅读全文 »
redis的主从复制 发表于 2020-11-03 | 分类于 redis 字数统计: 2.4k | 阅读时长 ≈ 8 [TOC] 同步操作(PSYNC命令)PSYNC命令具有完整重同步(full resy nchronization)和部分重同步(partial resynchronization)两种模式: 完整重同步:用于处理初次复制情况:完整重同步的执行步骤和SYNC命令的执行步 骤基本一样,它们都是通过让 ... 阅读全文 »
redis集群 发表于 2020-11-03 | 分类于 redis 字数统计: 5.2k | 阅读时长 ≈ 18 [TOC] Redis 主从架构单机的 redis,能够承载的 QPS 大概就在上万到几万不等。对于缓存来说,一般都是用来支撑读高并发的。因此架构做成主从(master-slave)架构,一主多从,主负责写,并且将数据复制到其它的 slave 节点,从节点负责读。所有的读请求全部走从节点。这样也可以 ... 阅读全文 »
双写问题和延时双删 发表于 2020-11-02 | 分类于 redis 字数统计: 796 | 阅读时长 ≈ 2 [TOC] 我们讨论两种更新策略: 1.先删除缓存,再更新数据库 2.先更新数据库,再删除缓存 先更新DB再删除缓存首先,先说一下。老外提出了一个缓存更新套路,名为《Cache-Aside pattern》。其中就指出 失效:应用程序先从cache取数据,没有得到,则从数据库中取数据,成功后, ... 阅读全文 »
事务的实现原理 发表于 2020-11-02 | 分类于 mysql 字数统计: 4.1k | 阅读时长 ≈ 14 [TOC] 开篇相信大家都用过事务以及了解他的特点,如原子性(Atomicity),一致性(Consistency),隔离型(Isolation)以及持久性(Durability)等。今天想跟大家一起研究下事务内部到底是怎么实现的,在讲解前我想先抛出个问题:事务想要做到什么效果? 按我理解,无非是要 ... 阅读全文 »
论坛项目过程 发表于 2020-11-01 | 分类于 设计题 字数统计: 6.1k | 阅读时长 ≈ 23 数据库表用户表 user 字段 类型 备注 id int 主键、自增 username varchar 用户名,创建索引 password varchar 用户密码 salt varchar 加密盐值 email varchar 用户邮箱,创建索引 type int 用 ... 阅读全文 »