【数据库】MySQL大数据表处理

【数据库】MySQL大数据表处理

Turbo 398 2023-01-31

MySQL大数据表处理的三种方案

前言

当业务数据库表中的数据越来越多,就会遇到如下问题:

  • 数据的插入、查询时长较长
  • 后续业务需要的扩展,在表中新增字段影响较大
  • 表中的数据并不是所有的都为有效数据,需求只查询时间区间内的

一、评估表数据体量

可以从表容量、磁盘空间、实列容量三方面评估数据体量

1.1 表容量

表容量主要从表的记录数、平均长度、增长量、读写量、总大小量进行评估。一般对于OLTP的表,建议单表不要超过2000W行数据量,总大小15G以内。访问量:单表读写量在1600/s以内。
查询行数据的方式:一般查询表数据有多少数据时用到的经典sql语句如下

select count(*) from table
select count(1) from table

但是当数据量过大时,这样的查询就可能会超时,
https://mp.weixin.qq.com/s/Ip6hIPvBboLVHgfnCVRbAw