Redian新闻
>
美团:为什么 MySQL 不推荐使用 join?

美团:为什么 MySQL 不推荐使用 join?

公众号新闻

点击上方“芋道源码”,选择“设为星标

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 
来源:cnblogs.com/liboware
/p/12740901.html

1.对于mysql,不推荐使用子查询和join是因为本身join的效率就是硬伤,一旦数据量很大效率就很难保证,强烈推荐分别根据索引单表取数据,然后在程序里面做join,merge数据。

2.子查询就更别用了,效率太差,执行子查询时,MYSQL需要创建临时表,查询完毕后再删除这些临时表,所以,子查询的速度会受到一定的影响,这里多了一个创建和销毁临时表的过程。

3.如果是JOIN的话,它是走嵌套查询的。小表驱动大表,且通过索引字段进行关联。如果表记录比较少的话,还是OK的。大的话业务逻辑中可以控制处理。

4.数据库是最底层的,瓶颈往往是数据库。建议数据库只是作为数据store的工具,而不要添加业务上去。

一、应用层关联的优势

让缓存的效率更高。许多应用程序可以方便地缓存单表查询对应的结果对象。如果关联中的某个表发生了变化,那么就无法使用查询缓存了,而拆分后,如果某个表很少改变,那么基于该表的查询就可以重复利用查询缓存结果了。

  • 将查询分解后,执行单个查询可以减少锁的竞争。
  • 在应用层做关联,可以更容易对数据库进行拆分,更容易做到高性能和可扩展。
  • 查询本身效率也可能会有所提升。查询id集的时候,使用IN()代替关联查询,可以让MySQL按照ID顺序进行查询,这可能比随机的关联要更高效。
  • 可以减少冗余记录的查询。在应用层做关联查询,意味着对于某条记录应用只需要查询一次,而在数据库中做关联查询,则可能需
  • 要重复地访问一部分数据。从这点看,这样的重构还可能会减少网络和内存的消艳。
  • 更进一步,这样做相当于在应用中实现了哈希关联,而不是使用MySQL的嵌套循环关联。某些场景哈希关联的效率要高很多。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro
  • 视频教程:https://doc.iocoder.cn/video/

二、应用层关联的使用场景

  • 当应用能够方便地缓存单个查询的结果的时候
  • 当可以将数据分布到不同的MySQL服务器上的时候
  • 当能够使用IN()的方式代替关联查询的时候
  • 并发场景多,DB查询频繁,需要分库分表

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud
  • 视频教程:https://doc.iocoder.cn/video/

三、不推荐使用join的原因

1.DB承担的业务压力大,能减少负担就减少。当表处于百万级别后,join导致性能下降;

2.分布式的分库分表。这种时候是不建议跨库join的。目前mysql的分布式中间件,跨库join表现不良。

3.修改表的schema,单表查询的修改比较容易,join写的sql语句要修改,不容易发现,成本比较大,当系统比较大时,不好维护。

四、不使用join的解决方案

在业务层,单表查询出数据后,作为条件给下一个单表查询。也就是子查询。会担心子查询出来的结果集太多。mysql对in的数量没有限制,但是mysql限制整条sql语句的大小。

通过调整参数max_allowed_packet ,可以修改一条sql的最大值。建议在业务上做好处理,限制一次查询出来的结果集是能接受的。

五、join查询的优势

关联查询的好处是可以做分页,可以用副表的字段做查询条件,在查询的时候,将副表匹配到的字段作为结果集,用主表去in它。

但是问题来了,如果匹配到的数据量太大就不行了,也会导致返回的分页记录跟实际的不一样,解决的方法可以交给前端,一次性查询,让前端分批显示就可以了,这种解决方案的前提是数据量不太,因为sql本身长度有限。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢

已在知识星球更新源码解析如下:

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。

谢谢支持哟 (*^__^*)

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
SQLAlchemy 2.0.0发布首个RC,Python ORM框架MySQL 常用脚本MySQL索引下推知识分享MySQL适合运行在Docker中吗?隐语开源首个工业级多方安全数据分析系统SCQL:像写SQL一样「易用」隐私计算问了几人,MySQL changebuffer 这点都没答对美团:MySQL 自增主键一定是连续的吗?MySQL 索引 15 连问,抗住!如果您要独自去荒岛一星期,只能带一本书,您会带哪一本? 为什么?5大主流方案对比:MySQL千亿级数据线上平滑扩容实战MySQL 数据同步到 Redis 缓存, so Easy !为什么MySQL 最朴素的监控方式!用完爱不释手天赋“易昺(bǐng)”,创造历史!SpringBoot + Druid,完美监控 MySQL 性能MySQL索引15连问,抗住!动物世界,吐着舌头MySQL性能优化浅析及线上案例朝鲜战争,斯大林打的如意算盘MySQL主从复制原理剖析与应用实践故事13 款炫酷的 MySQL 可视化管理工具!新冠新闻x2 | 我国加强免疫推荐使用新疫苗,美国终止新冠全国紧急状态心碎!!! 燕妹没了! 第一次感到美国无处讲理MySQL 批量操作,一次插入多少行数据效率最高?为什么?美团:这个 SQL 语句加了哪些锁?SQL能完成哪方面的计算?一文详解关系代数和SQL语法Agustín Hernández:中美洲建筑背景下的未来主义巨构MySQL 字符串指南 | Linux 中国SpringBoot 实现 MySQL 百万级数据量导出并避免 OOM 的解决方案每周健走 - 4月10日: Moccasin Trail了解那些“奇葩”SQL写法,快速写出高效率SQLMySQL 底层之 MVCC、回滚段、一致性读、锁定读MySQL 处理大数据表的 3 种方案,写的太好了,建议收藏!!一文掌握 MyBatis 的动态 SQL 使用与原理如何高效实现MySQL与elasticsearch的数据同步美团四面:如何保障 MySQL 和 Redis 的数据一致性?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。