Redian新闻
>
Redis7 单线程VS多线程

Redis7 单线程VS多线程

公众号新闻

1、redis为什么选择单线程

1.1、redis7单线程

Redis是单线程
主要是指Redis的网络IO和键值对读写是由一个线程来完成的Redis在处理客户端的请求时包括获取 (socket 读)、解析、执行、内容返回 (socket 写) 等都由一个顺序串行的主线程处理,这就是所谓的“单线程”。这也是Redis对外提供键值存储服务的主要流程。
但Redis的其他功能,比如持久化RDB、AOF、异步删除、集群数据同步等等,其实是由额外的线程执行的。Redis命令工作线程是单线程的,但是,整个Redis来说,是多线程的;



1.2、redis7单线程快

基于内存操作:redis的所有数据都存在内存中,因此所有的运算都是内存级别的,性能比较高数据结构简单:redis的数据结构是专门设计的,而这些简单的数据结构的查找和操作的时间大部分复杂度都是O(1)多路复用和非阻塞I/O:redis使用I/O多路复用功能来监听多个socket连接客户端,这样就可以使用一个线程来处理多个请求,减少线程切换带来的开销。同时也避免了I/O阻塞操作避免上下文切换:因为是单线程模型,因此就避免了不必要的上下文切换和多线程竞争,省去了多线程切换带来的时间和性能上的消耗,而且单线程不会导致死锁问题的发生
简单来说,Redis4.0之前一直采用单线程的主要原因有以下三个:1 使用单线程模型是 Redis 的开发和维护更简单,因为单线程模型方便开发和调试;2 即使使用单线程模型也并发的处理多客户端的请求,主要使用的是IO多路复用和非阻塞IO;3 对于Redis系统来说,主要的性能瓶颈是内存或者网络带宽而并非 CPU。
2、为啥加入多线程
1、单线程的问题
正常情况下使用 del 指令可以很快的删除数据而当被删除的 key 是一个非常大的对象时,例如时包含了成千上万个元素的 hash 集合时,那么 del 指令就会造成 Redis 主线程卡顿。
这就是redis3.x单线程时代最经典的故障,大key删除的头疼问题,
由于redis是单线程的,del bigKey .....等待很久这个线程才会释放,类似加了一个synchronized锁,你可以想象高并发下,程序堵成什么样子?

2、解决办法
使用惰性删除可以有效的避免redis卡顿的问题

比如当我(Redis)需要删除一个很大的数据时,因为是单线程原子命令操作,这就会导致 Redis 服务卡顿,于是在 Redis 4.0 中就新增了多线程的模块,当然此版本中的多线程主要是为了解决删除数据效率比较低的问题的。unlink keyflushdb asyncflushall async把删除工作交给了后台的小弟(子线程)异步来删除数据了。因为Redis是单个主线程处理,redis之父antirez一直强调"Lazy Redis is better Redis".而lazy free的本质就是把某些cost(主要时间复制度,占用主线程cpu时间片)较高删除操作,从redis主线程剥离让bio子线程来处理,极大地减少主线阻塞时间。从而减少删除导致性能和稳定性问题。
在redis4.0就引入了多个线程来实现数据的异步惰性删除等功能但是其处理读写请求的仍然只有一个线程,所以仍然算是狭义上的单线程



3、redis6/7多线程特性和IO多路复用

3.1、redis主要的性能瓶颈是内存或者网络带宽而非CPU

3.2、redis6/7真正多线程登场

在Redis6/7中,非常受关注的第一个新特性就是多线程。这是因为,Redis一直被大家熟知的就是它的单线程架构,虽然有些命令操作可以用后台线程或子进程执行(比如数据删除、快照生成、AOF重写)。但是,从网络IO处理到实际的读写命令处理,都是由单个线程完成的。
随着网络硬件的性能提升,Redis的性能瓶颈有时会出现在网络IO的处理上,也就是说,单个主线程处理网络请求的速度跟不上底层网络硬件的速度,为了应对这个问题:采用多个IO线程来处理网络请求,提高网络请求处理的并行度,Redis6/7就是采用的这种方法。但是,Redis的多IO线程只是用来处理网络请求的,对于读写操作命令Redis仍然使用单线程来处理。这是因为,Redis处理请求时,网络处理经常是瓶颈,通过多个IO线程并行处理网络操作,可以提升实例的整体处理性能。而继续使用单线程执行命令操作,就不用为了保证Lua脚本、事务的原子性,额外开发多线程互斥加锁机制了(不管加锁操作处理),这样一来,Redis线程模型实现就简单了



3.3、主线程和IO线程是协作完成请求处理

3.4、Unix网络编程中的五种IO模型

Blocking IO 阻塞IONoneBlocking IO 非阻塞IOIO Multiplexing IO多路复用signal driven IO 信号驱动IOasynchronous IO 异步IO
IO多路复用一个服务端进程可以同时处理多个套接字描述符实现IO多路复用的模型有3种:select-->poll-->epoll三个阶段来描述
模拟一个tcp服务器处理30个客户socket。假设你是一个监考老师,让30个学生解答一道竞赛考题,然后负责验收学生答卷,你有下面几个选择:第一种选择(轮询):按顺序逐个验收,先验收A,然后是B,之后是C、D。。。这中间如果有一个学生卡住,全班都会被耽误,你用循环挨个处理socket,根本不具有并发能力。第二种选择(来一个new一个,11服务):你创建30个分身线程,每个分身线程检查一个学生的答案是否正确。这种类似于为每一个用户创建一个进程或者线程处理连接。第三种选择(响应式处理,1对多服务),你站在讲台上等,谁解答完谁举手。这时C、D举手,表示他们解答问题完毕,你下去依次检查C、D的答案,然后继续回到讲台上等。此时E、A又举手,然后去处理E和A。。。这种就是IO复用模型。Linux下的selectpollepoll就是干这个的。
将用户socket对应的文件描述符(FileDescriptor)注册进epoll,然后epoll帮你监听哪些socket上有消息到达,这样就避免了大量的无用操作。此时的socket应该采用非阻塞模式。这样,整个过程只在调用selectpollepoll这些调用的时候才会阻塞,收发客户消息是不会阻塞的,整个进程或者线程就被充分利用起来,这就是事件驱动,所谓的reactor反应模式。在单个线程通过记录跟踪每一个Sockek(I/O流)的状态来同时管理多个I/O流. 一个服务端进程可以同时处理多个套接字描述符。目的是尽量多的提高服务器的吞吐能力。大家都用过nginx,nginx使用epoll接收请求,ngnix会有很多链接进来, epoll会把他们都监视起来,然后像拨开关一样,谁有数据就拨向谁,然后调用相应的代码处理。redis类似同理,这就是IO多路复用原理,有请求就响应,没请求不打扰。

3.5、简单说明

redis工作线程是单线程的但是整个redis来说,是多线程的

4、redis7如何开启多线程

1.设置io-thread-do-reads配置项为yes,表示启动多线程。2。设置线程个数。关于线程数的设置,官方的建议是如果为 4 核的 CPU,建议线程数设置为 23,如果为 8 核 CPU 建议线程数设置为 6,线程数一定要小于机器核数,线程数并不是越大越好。



5、总结

Redis自身出道就是优秀,基于内存操作、数据结构简单、多路复用和非阻塞 I/O、避免了不必要的线程上下文切换等特性,在单线程的环境下依然很快;但对于大数据的 key 删除还是卡顿厉害,因此在 Redis 4.0 引入了多线程unlink key/flushall async 等命令,主要用于 Redis 数据的异步删除;而在 Redis6/7中引入了 I/O 多线程的读写,这样就可以更加高效的处理更多的任务了,Redis 只是将 I/O 读写变成了多线程而命令的执行依旧是由主线程串行执行的,因此在多线程下操作 Redis 不会出现线程安全的问题。Redis 无论是当初的单线程设计,还是如今与当初设计相背的多线程,目的只有一个:让 Redis 变得越来越快。


链接:https://blog.51cto.com/u_13236892/8894011

(版权归原作者所有,侵删)


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
突发!曼哈顿唐人街地铁站一乘客因捡拾物品遭列车撞击身亡!导致多线路延误!华为发布智界S7电轿;特斯拉回应11车连撞;K70公布两个配色&真机曝光小鹏X9,「非典型」MPV背后的多线战事智界S7交付迷雾比VS Code快得多!用Rust重写,支持OpenAI、Copilot 的Zed编辑器开源了Costco本周优惠:Roborock S7+机器人吸尘器和拖把吸尘器,现价$1099.99,省$200!CentOS7 卸载/home 扩大/root空间方法这些年背过的面试题——多线程篇召回!Costco,Trader Joe's,Wholefoods多家超市乳制品疑似李斯特菌污染!China’s Pneumonia Outbreak Recedes, but Flu Awaits第117章 京都《繁花》最时髦的女人|戴高珠的李李VS.穿Prada的玲子VS.拎Gucci的汪小姐华为凭什么敢用智界S7挑战特斯拉李彦宏VS王小川,傅盛VS朱啸虎…AI大佬论战谁赢了华为「亲儿子」,25 万的智界 S7 扛起鸿蒙智行大旗火星乐园第三部《灰界》第七十二章 回归矩阵华为新动作,余承东发出"邀请"!鸿蒙智行首次亮相,智界S7售价出炉…Redis实战 | 使用Redis 的有序集合(Sorted Set)实现排行榜功能,和Spring Boot集成华为究竟有多“黑”?智界S7首发试驾赛道狂飙、泊车代驾、闹市智驾…才知道真相Endangered Xizang Cattle Cloned For the First TimeNew Dam in NW China Aims to Restore Flow to Parched Heihe River深度体验了智界S7,现在纯电轿车也太卷卷卷卷了吧。。。一文拿捏Redis7 发布订阅长篇小说《谷雨立夏间》33 血污李现爆「带网红女友跟组拍戏」!半年前被揪多线索…后援会急澄清智界S7的交付之困大模型RAG问答技术架构及核心模块回顾:从Embedding、prompt-embedding到Reranker「亏本卖」的智界S7,你会买单吗?华人出行注意!MBTA地铁持续维修,2月多日多线路停运双林奇案录第三部之鹤鼎莲方壶: 第八节奇瑞副总韩必文突然辞职,华为强力介入智界S7是主因?【第一年双倍返现无上限 Offer即将过期】Chase Freedom Unlimited (CFU) 信用卡向微软“复仇”!支持OpenAI、Copilot 的Zed编辑器要干掉VS Code:Rust+少插件,速度贼快山情水趣话旅游(39):加拿大之行:(3)Chase Freedom Unlimited (CFU) 信用卡【更新:第一年双倍返现无上限 Offer即将过期】
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。