[精选]Mysql优化查询过程中的数据访问

码农编程进阶笔记

共 5782字,需浏览 12分钟

 ·

2022-07-26 15:58

1.TCP/IP协议中ARP及RARP协议的作用?
ARP协议的作用是由IP地址查找对应的MAC地址
RARP协议的作用正好相反,是由MAC地址查找对应的IP地址。
2. 重放攻击,Smurf攻击,字典攻击,中间人攻击

3.EXT3,EXT4,XFS文件系统大小?

Linux文件系统大小单个文件大小
ext316TB2TB
ext41EB16TB
xfs18EB9EB

4.Linux 系统文件描述符:

0:STDIN 标准输入
1:STDOUT 标准输出
2:STDERR 标准错误输出

5.Mysql日志

  1. 有多少种日志redo/undo

  2. 日志的存放形式

    redo:在页修改的时候,先写到redo log buffer 里面,然后写到redo log 的文件系统缓存里面(fwrite),然后再同步到磁盘文件(fsync)。

    Undo:在MySQL5.5之前,undo只能存放在ibdata*文件里面,5.6之后,可以通过设置innodb\_undo\_tablespaces参数把undo log存放在ibdata*之外。

  3. 事务是如何通过日志来实现的:

    因为事务在修改页时,要先记undo,在记undo之前要记undo的redo,然后修改数据页,再记数据页修改的redo。Redo(里面包括undo的修改)一定要比数据页先持久化到磁盘。当事务需要回滚时,因为有undo,可以把数据页回滚到前镜像的状态,崩溃恢复时,如果redo log中事务没有对应的commit记录,那么需要用undo把该事务的修改回滚到事务开始之前。如果有commit记录,就用redo前滚到该事务完成时并提交掉。

  4. 必须了解的MySQL三大日志:binlog、redo log和undo log

  5. MySQL日志15连问

  6. MySQL基于日志还原数据

6. Mysql json类型

5.7.8开始,mysql开始支持json数据类型,json数据类型存储时会做格式检验,不满足json格式会报错,json数据类型默认值不允许为空。
优势:
  1. 存储上类似text,可以存非常大的数据。

  2. JSON有效性检查:插入的数据必须是JSON类型的字符串才行。

  3. 相比于传统形式,不需要遍历所有字符串才能找到数据。

  4. 支持索引:通过虚拟列的功能可以对JSON中部分的数据进行索引

7. Mysql索引创建原则

  1. 最适合索引的列是出现在 where 子句或连接子句中的列,而不是出现在 select 的关键字后的列

  2. 索引列的基数越大,索引效果越好

  3. 对字符串进行索引,应指定一个前缀长度,可以节省大量的索引空间

  4. 根据情况创建复合索引,复合索引可以提高查询效率

  5. 避免创建过多索引,索引会额外占用磁盘空间,减低写操作效率

  6. 主键尽可能选择较短的数据类型,可以有效减少索引的磁盘占用,提高效率

8. 索引的注意事项

  1. 复合索引遵循左前缀原则

  2. like 查询,%不能在前,可以使用全文索引

  3. column is null 可以使用索引

  4. 如果 MySQL 估计使用索引比全表扫描更慢,会放弃使用索引

9.查询速度慢的原因

  1. 打开慢查询日志,通过 pt-query-dugest 分析

    #看一下当前mysql数据库是否开启了慢查询
    show variables like 'slow_query%';

    #临时开启
    set global slow_query_log='ON';

    #永久开启:修改配置文件my.cnf,在[mysqld]下的下方加入,重启mysql服务
    [mysqld]
    slow_query_log = ON
    slow_query_log_file = /var/lib/mysql/tmp_slow.log //linux
    long_query_time = 1
  2. show profile,通过 set profiling=1;开启,服务器上执行的所有语句消耗时间都会记录到临时表。show profile for query QUERY_ID 查询指定查询
  3. show status,查询一些计数器,猜出哪些代价高或消耗时间多
  4. show processlist,查询线程状态进行分析
  5. explain,分析单个 SQL 语句查询

10.Mysql优化查询过程中的数据访问

  1. 访问数据太多导致性能下降

  2. 确定应用程序是否检索大量超过需要的数据,可能是太多列或者行

  3. 确定 mysql 是否分析大量不必要的数据行

  4. 查询不需要的记录,使用 limit 限制

  5. 夺标关联返回全部列指定 A.id,A.name

  6. 总数取出全部列,select * 会让优化器无法完成所有覆盖扫码的优化

  7. 重复查询相同的数据,可以缓存数据

  8. 改变数据库和表的结构,修改数据表范式

  9. 重写 SQL 语句,让优化器可以更优的执行

11.优化长难的查询语句

  1. MySQL 内部每秒能扫描内存中上百万行数据,相比之下,响应数据给客户端就要慢得多

  2. 将一个大的查询分解为多个小的查询

  3. 分解关联查询,将一个关联查询分解为多个 sql 来执行,让缓存效率更高,执行单个查询可以减少锁的竞争,在应用层做关联可以更容易对数据库进行拆分,查询效率会有大幅提升,较少冗余记录的查询

12 .优化特定类型的查询语句

  1. 优化 count()查询,count(*)会忽略所有列,直接统计所有列数,因此不要用 count(列名)

  2. 优化关联查询,确定 ON 或者 USING 子句的列上有索引;确保 GROUP BY 和 ORDER BY 中只有一个表的列,这样 MySQL 才有可能使用索引

  3. 优化子查询,可使用关联查询替代

  4. 优化 GROUP BY 和 DISTINCT,建立索引进行优化

  5. 优化 LIMIT 分页,可以通过记录上次查询的最大 ID,如果根据 id 排序时,下次查询根据该 ID 来查 询(如:ID > maxID)

  6. 优化 UNION 查询,UNION ALL 性能比 UNION 高

13.高并发常见单位

  1. QPS:每秒钟请求或查询数量,在互联网领域指每秒响应的请求数(指 HTTP 请求)

  2. 吞吐量:单位时间内处理的请求数量(通常由 QPS 和并发数决定)

  3. 响应时间:从请求发出到收到响应花费时间

  4. PV:综合浏览量(Page View),即页面浏览量或者点击量,一个访客在 24 小时内访问的页面数量。同一个人浏览你的网站同一个页面,只记作一次 PV

  5. UV:独立访客(UniQue Visitor),即一定时间范围内相同访客多次访问网站,只能计算为 1 个独立访客

  6. 带宽:计算带宽大小需关注两个指标,峰值流量和页面的平均大小

  7. 日网站带宽=PV/统计时间(秒)平均页面大小(KB)8

  8. 峰值一般是平均值的倍数

  9. QPS 不等于并发并发连接数。QPS 是每秒 HTTP 请求数量,并发连接数是系统同时处理的请求数量

  10. 二八定律(80%的访问量集中在 20%的时间):(总 PV 数 80%)/(6 小时秒速 20%)=峰值每秒请求数(QPS)

  11. 压力测试:能承受最大的并发数和最大承受的 QPS 值

14.常用性能测试工具 ab

# 模拟并发请求 100 次,总请求 5000 次 
ab -c 100 -n 5000 http://example.com
15.http 状态码
  1. 200 请求成功2. 204 not content

  2. 206 reset content

  3. 301 永久重定向

  4. 302 临时重定向

  5. 307 临时重定向

  6. 400 错误请求

  7. 401 缺少认证信息

  8. 403 拒绝

  9. 404 不存在

  10. 500 服务器异常

  11. 502 Bad Gateway

  12. 503 服务器超负载或停机维护

16.OSI 七层协议

物数网传会表应
  1. 物理层:建立、维护、断开物理连接

  2. 数据链路层:建立逻辑连接,进行硬件地址寻址,差错校验等功能

  3. 网络层:进行逻辑地址寻址,不同网络之间的路径选择

  4. 传输层:定义传输数据的协议端口号,一级流控和差错校验。协议有 TCP/UDP,数据包一旦离开网卡即进入网络传输层

  5. 会话层:建立、管理、终止会话

  6. 表示层:数据的表示、安全、压缩

  7. 应用层:网络服务与用户的 接口,默认协议有 :http(80),ftp(21),tftp,smtp(25),snmp,dns(53),telnet(23),https(443),pop3(110),dhcp 

    【面试】50道经典计算机网络面试题 
     面试中常见的计算机网络的问题

17. HTTP 协议常见请求头/响应头

  1. Content-Type 指定数据内容类型

  2. Accept 指定客户端能接受数据内容类型

  3. Origin 最初请求来源(POST)

  4. Cookie

  5. Cache-Control 指定请求的缓存机制

  6. User-Agent 用户浏览器信息

  7. Referrer 上级请求路径

  8. X-Forwarded-For 请求端真实 ip

  9. Access-Control-Allow-Origin 允许其他请求域名,用于跨域

  10. Last-Modified 最后响应时间

18.算法,逻辑结构,存储结构的关系

一个算法的设计取决于所选定的逻辑结构,而算法的实现依赖于所采用的存储结构。

  • 顺序存储结构:用数据元素在存储器中的相对位置来表示数据元素之间的逻辑结构(关系)。

  • 链式存储结构:在每一个数据元素中增加一个存放另一个元素地址的指针(pointer ),用该指针来表示数据元素之间的逻辑结构(关系)

19.PHP伪类型

伪类型:假类型,实际上在PHP中不存在的类型。但是通过伪类型可以帮助程序员去更好的查看操作手册从而更方便学习。

  1. mixed混合类型:多种PHP中的数据类型

  2. number数字类型:任意数值类型(整形和浮点型)

  3. callback回调类型:回调函数作为参数

20.PHP-FPM的运行方式及优缺点?

  • static :表示在 php-fpm 运行时直接 fork 出 pm.max_chindren 个子进程,

  • dynamic:表示,运行时 fork 出 start_servers 个进程,随着负载的情况,动态的调整,最多不超过 max_children 个进程。

一般推荐用 static ,优点是不用动态的判断负载情况,提升性能;缺点是多占用些系统内存资源。
N 是 CPU 内核数量,M 是 PHP 能利用的内存数量,m 是每个 PHP 进程平均使用的内存数量
dynamic 方式的公式:在 N + 20% 和 M / m 之间
static方式的公式:M / (m 1.2)
pm.max_requests:指的是每个子进程在处理了多少个请求数量之后就重启。这个参数,理论上可以随便设置,但是为了预防内存泄漏的风险,还是设置一个合理的数比较好。

21.PHP常用信息函数

phpinfo — 输出关于 PHP 配置的信息
phpversion — 获取当前的PHP版本
php_sapi_name — 返回 web 服务器和 PHP 之间的接口类型
ini_get — 获取一个配置选项的值
ini_get_all — 获取所有配置选项
ini_restore — 恢复配置选项的值
ini_set — 为一个配置选项设置值
22.PHP的socket
Socket 是在应用层和传输层之间的一个抽象层,它把 TCP/IP 层复杂的操作抽象为几个简单的接口,供应用层调用实现进程在网络中的通信。

23.PHP数组结构及排序原理

PHP数组是由哈希表 + 双向链表实现
排序原理:
  1. 申请n个额外空间

  2. 遍历双链表 调用排序函数zend\_qsort(内部是快速排序算法)对数组排序

  3. 调用排序函数zend\_qsort(内部是快速排序算法)对数组排序

  4. 排序后,双链表中节点的位置发生变化,因而调整指定指向

  5. 遍历数组,分别设置每一个节点的pListLast和pListNext

  6. 设置HashTable的pListTail

浏览 30
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报