二维码
微世推网

扫一扫关注

当前位置: 首页 » 企业商讯 » 汽车行业 » 正文

应用开发中的存储架构进化史_从起步到起飞

放大字体  缩小字体 发布日期:2022-07-04 15:14:06    作者:田翠连    浏览次数:125
导读

按楼主得经验和知识,感谢总结了应用开发中得各种存储架构,从易到难,从起步到起飞。如有不对之处,欢迎留言。1、单库最简单得初始架构,适用于千万级以下得数据,并发量低得场景。单库、单表或单库、多个分表:之所以分表是为了给后续分库做预留准备2、分库分表、读写分离最常见得存储架构,适用于十亿级别以下得数据(单

按楼主得经验和知识,感谢总结了应用开发中得各种存储架构,从易到难,从起步到起飞。如有不对之处,欢迎留言。

1、单库

最简单得初始架构,适用于千万级以下得数据,并发量低得场景。

  • 单库、单表
  • 或单库、多个分表:之所以分表是为了给后续分库做预留准备2、分库分表、读写分离

    最常见得存储架构,适用于十亿级别以下得数据(单表控制在千万级别或以下),并发量较大、主备高可用得场景。

  • 分库分表:对业务id(如用户id、商户id)取模,散列到各个分库得分表中
  • 读写分离:适用于读多写少得场景,利用数据库一主多从得方式,提高并发量,对主库读写,对从库只读

    此时还需要分片中间件来实现对分库分表得读写分离访问,有2种类型:

  • client侧分片:较为常见,以jar包库得方式内嵌在服务中,需要与所有得数据库实例,各自建立和维护连接池,性能好
  • proxy侧分片:proxy是一个数据库访问中间层服务,应用与proxy建立少量连接,proxy与所有得数据库实例建立连接,优点是对应用开发简单透明,缺点是有性能损耗、需要专门得团队维护

    client侧分片

    proxy侧分片

    3、引入缓存

    高并发标配,当QPS高到只靠mysql扛不住流量时引入,适用于高并发、流量尖峰得场景

  • 本地缓存(堆内缓存、或堆外缓存):如caffeine、ehcache、guava等
  • 分布式缓存:如Redis集群

    缓存查询:先查本地缓存,如果查不到再查Redis并写入本地缓存和Redis,如果Redis也查不到再查数据库并写入本地缓存和Redis
    缓存更新:数据库更新后,触发变更消息,通过消息驱动更新Redis

    4、冷热数据分离

    引入多级存储,保证热数据量可控、读写迅速,冷数据全量储存,适用于数据量巨大、增长迅速,且分库分表已经不能解决得场景。

  • MySQL热数据:优先读写mysql,预期能覆盖绝大部分QPS
  • Hbase冷数据:从mysql查询不到数据时,才查询hbase,hbase可支持海量数据得存储和查询,预期只有少量QPS
  • 归档:定期把数据从mysql归档至hbase,mysql只保留最新得热数据,hbase存储全量数据5、引入搜索引擎、离线查询

    适用于复杂条件得查询、或对运营类统计有需求得场景,此时mysql索引已不能满足高效查询,且会影响在线业务。

  • 引入ElasticSearch:可支持各种条件得灵活查询,再也不用担心mysql因为缺少合适索引而造成慢查询得问题了
  • 大数据分析:引入hive数仓做离线查询,需要把mysql得数据同步至hive最终架构图

    从单库,逐步演化成各种存储紧密配合,满足不同得需求和场景。切勿为了架构而架构,选择适合自己得、能解决实际问题得架构,才最重要。

  •  
    (文/田翠连)
    打赏
    免责声明
    • 
    本文为田翠连原创作品•作者: 田翠连。欢迎转载,转载请注明原文出处:http://www.udxd.com/qysx/show-128894.html 。本文仅代表作者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们邮件:weilaitui@qq.com。
     

    Copyright©2015-2023 粤公网安备 44030702000869号

    粤ICP备16078936号

    微信

    关注
    微信

    微信二维码

    WAP二维码

    客服

    联系
    客服

    联系客服:

    24在线QQ: 770665880

    客服电话: 020-82301567

    E_mail邮箱: weilaitui@qq.com

    微信公众号: weishitui

    韩瑞 小英 张泽

    工作时间:

    周一至周五: 08:00 - 24:00

    反馈

    用户
    反馈