千万级数据量表,快速添加索引思路!
浪尖聊大数据
共 1042字,需浏览 3分钟
· 2021-03-07
最近遇到的一个问题,需要在一张将近1000万数据量的表中添加加一个字段,但是直接添加会导致mysql 奔溃,所以需要利用其他的方法进行添加,这篇文章主要给大家介绍了MySQL中大数据表增加字段的实现思路,需要的朋友可以参考借鉴。
前言
增加字段相信大家应该都不陌生,随手就可以写出来,给 MySQL 一张表加字段执行如下 sql 就可以了:
ALTER TABLE tbl_tpl ADD title(255) DEFAULT '' COMMENT '标题' AFTER id;
但是线上的一张表如果数据量很大呢,执行加字段操作就会锁表,这个过程可能需要很长时间甚至导致服务崩溃,那么这样操作就很有风险了。
给 MySQL 大表加字段的思路
① 创建一个临时的新表,首先复制旧表的结构(包含索引)
create table new_table like old_table;
② 给新表加上新增的字段
③ 把旧表的数据复制过来
insert into new_table(filed1,filed2…) select filed1,filed2,… from old_table
④ 删除旧表,重命名新表的名字为旧表的名字
不过这里需要注意,执行第三步的时候,可能这个过程也需要时间,这个时候有新的数据进来,所以原来的表如果有字段记录了数据的写入时间就最好了,可以找到执行这一步操作之后的数据,并重复导入到新表,直到数据差异很小。不过还是会可能损失极少量的数据。
所以,如果表的数据特别大,同时又要保证数据完整,最好停机操作。
另外的方法
在从库进行加字段操作,然后主从切换
使用第三方在线改字段的工具
一般情况下,十几万的数据量,可以直接进行加字段操作。
总结
以上就是关于在MySQL大表中加字段的实现思路,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。
评论
Spring Boot + flowable 快速实现工作流
关注我们,设为星标,每天7:40不见不散,架构路上与您共享回复架构师获取资源大家好,我是你们的朋友架构君,一个会写代码吟诗的架构师。来源:blog.csdn.net/zhan107876/article/details/120815560总览一、flowable-ui部署运行二、绘制流程图绘图细节:
Java架构师社区
0
2025年有望破万亿,AIoT助力下,物流行业正在迎来快速发展
作者:王飞鹏物联网智库 原创3月底,正在赶赴港股上市的菜鸟网络被阿里总部召回,上市进程按下了暂停键。在阿里去年定下“大拆分”战略后,菜鸟本是最有希望率先独立IPO的企业,但是在临门一脚之际,阿里却做出了不上市的决策。这一举动引发了外界热议。分析人士普遍认为,阿里之所以做出这一决策,很重要的一个原因是
物联网智库
0
性能爆表:SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测!
关注我们,设为星标,每天7:40不见不散,架构路上与您共享回复架构师获取资源大家好,我是你们的朋友架构君,一个会写代码吟诗的架构师。来源:azdebug.blog.csdn.net/article/details/103697108前言具体实现细节测试结果总结前言开发目的: 提高百万级数据
Java架构师社区
0
千万别来比亚迪!真的,谁来谁后悔!
在网络上,经常会有人发表意见劝阻别人不要加入某家公司,但这又引发了一个问题:如果不去那家公司,去哪里呢?现今情况下,想要进入比亚迪这样的大公司并不容易,许多人连门槛都触摸不到。比亚迪已经成为行业中的佼佼者,拥有一定学历是许多人的障碍。如果你来自名校,那么进入的机会相对较大,但非名校的人则需要看具体情
程序IT圈
0
Linux服务器大量log日志,如何正确看日志快速定位错误?
针对大量log日志快速定位错误地方动态查看日志tail -f catalina.ou从头打开日志文件cat catalina.ou可以使用 >nanjiangtest.txt 输出某个新日志去查看[root@yesky logs]# cat&n
Java专栏
10
Gin 框架介绍与快速入门
目录Gin 框架介绍与快速入门1.gin.Engine2.gin.Context1.安装2.导入3.第一个Gin 应用1. 快速和轻量级2. 路由和中间件3. JSON解析4. 支持插件5. Gin相关文档一、Gin框架介绍二、基本使用三、应用举例四、Gin 入门核心...
马哥Linux运维
0
《认知觉醒》想要快速成为一个行业的高手,最好的办法就是和行业专...
《认知觉醒》中说:“想要快速成为一个行业的高手,最好的办法就是和行业专家交流,直接向他们请教。 未来学家凯文 凯利的一位朋友想进入一个全新的领域,但是他没有任何经验。于是他就参加该领域内的各种行业会议,...
胖琪的升级之路
0
Elasticsearch 悬挂索引解析与管理指南
在 Elasticsearch 的实战中,悬挂索引是一个既常见又容易引起困扰的概念。 今天,我将分享一次处理集群状态为RED,原因为DANGLING_INDEX_IMPORTED 的实战经验,深入探讨悬挂索引的定义、产生原因、管理方法,以及如...
铭毅天下
0