搜索到
14
篇与
MySQL
的结果
-
MySQL索引详解，面试工作常遇知识点 一、什么是索引先说结论，mysql索引就是通过数据结构或存储结构(B+树)，从而提高查找的效率，举个例子，MySQL索引就像书的目录。想象一下我们小学使用的新华字典，当你想在一本厚厚字典中查询某个字的相关内容时，如果没有目录，你可能需要从头到尾一页一页地翻，非常耗时。而有了目录，你只需查看目录，然后直接跳到相关的页面，速度快了很多，在这个例子中，mysql表的数据，就好比新华字典里的字，而索引则对应字典的目录二、 索引有什么用（1）提高查询效率从新华字典的例子中，我们知道索引能显著加快数据的查找速度，当你在一个有数百万行数据的表中搜索某个特定值时，有了索引，MySQL可以快速定位到相关数据，而不需要扫描逐行扫描（2）排序数据有了索引可以帮助我们对某个数据按某个顺序排序，进一步提高查询效率，比如新华字典按拼音字母的顺序编排方式（2）唯一性约束可以创建唯一索引来确保某列的值是唯一的，这有助于保证数据的完整性和一致性。例如在用户登录账号通常应该是唯一的，可以在该列上创建唯一索引。三、索引分类与使用我们先新建一张数据表,在后面使用CREATE TABLE `t_order` ( `id` int(11) NOT NULL AUTO_INCREMENT, `order_no` varchar(32) COLLATE utf8_bin DEFAULT NULL COMMENT '订单编号', `good_name` varchar(125) COLLATE utf8_bin DEFAULT NULL COMMENT '商品名称', `good_content` varchar(125) COLLATE utf8_bin DEFAULT NULL COMMENT '商品介绍', `user_id` int(11) DEFAULT NULL COMMENT '用户ID', `order_price` decimal(10,2) DEFAULT NULL COMMENT '订单金额', `status` tinyint(2) DEFAULT NULL COMMENT '订单状态：0待支付，1已支付，2已取消', `create_time` bigint(20) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='订单表';1. 索引分类根据索引列数和数据结构等进行分类，索引的分类大致如下（1）按索引列个数分类单一(单列表)索引：基于单个列创建的索引。复合(联合)索引：基于多个列创建的索引。使用技巧： 如果查询通常基于单个列进行，且该列的选择性较高（即该列不同值的数量较多），那么单一索引可能是更好的选择。例如，在一个订单表中，如果经常根据订单号（order_no）来查询订单详情，为 order_no 列创建单一索引是合适的。然而，如果查询经常涉及多个列的组合条件，那么复合索引可能更有优势。比如，在一个员工表中，经常根据员工的部门（department）和职位（position）来查询员工信息，创建一个基于 department 和 position 的复合索引会更高效。但需要注意的是，复合索引的列顺序很重要。通常，将选择性更高（不同值更多）的列放在前面（最左前缀原则）另外，过多的索引会增加数据插入、更新和删除操作的开销，并且会占用更多的存储空间，基于这方面考虑更多考虑复合索引在决定使用单一索引还是复合索引时，需要综合考虑查询模式、数据分布、表的更新频率等因素进行权衡和选择。 创建索引# 单一索引,默认为Btree，B+树结构 ALTER TABLE t_order ADD INDEX idx_order_no (order_no); #复合索引，使用user_id和status建立联合索引 ALTER TABLE t_order ADD INDEX idx_user_id_status (user_id, status);（2）按索引数据结构分类B 树索引(B-Tree)：包括 B+树索引，是 MySQL 中常见的索引结构，适用于范围查询和排序操作。哈希索引(Hash)：通过哈希函数计算索引值的位置，适用于精确匹配查询，但不支持范围查询。使用技巧：hash索引对于精确匹配的查询效率比较高，可以快速定位数据，单hash索引不支持范围查询如大于、小于、介于，like 等范围索引查询操作，也不支持列索引排序，同时如果索引列重复值较多，会有hash冲突，同时它也不适用于频繁更新的列，需要重新计算hash维护成本低，例如t_order表中，可以考虑使用hash结构的索引B-Tree结构索引支持范围查询，同时也支持排序操作，插入和删除索引相比于hash索引更具有优势，适合高并发场景，但相比于哈希索引，需要更多的存储空间来存储索引结构，对于精确匹配查询，速度可能略逊于哈希索引，比如t_order表中，我们需要对订单的创建时间create_time做排序，同时经常需要对时间范围内的订单做范围查询，因为create_time更适合B-Tree结构 创建索引# BTREE索引不指定'USING BTREE'时默认就是BTREE类型索引 ALTER TABLE `t_order` ADD INDEX `idx_create_time`(`create_time`) USING BTREE; #Hash索引，创建order_no的hash索引 ALTER TABLE `t_order` ADD INDEX `idx_order_no`(`order_no`) USING HASH;（3） 按索引作用分类主键索引(PRIMARY KEY)：用于唯一标识表中的每一行数据，基于主键创建。唯一索引(UNIQUE)：确保索引列的值是唯一的，但允许为 NULL 值。普通索引(INDEX)：用于提高查询性能，对数据的唯一性没有严格要求。全文索引(FULLTEXT)：主要用于文本列，可以对大量文本进行快速搜索。空间索引(SPATIAL)：用于快速查询空间数据，如地理信息系统 (GIS) 和位置相关的查询前缀索引：建立前缀索引可以减少索引的大小和维护成本，同时在大多数情况下仍然能够满足常见的查询需求。例如，当查询条件中经常根据商品名称的前 10 个字符进行筛选时，该索引将发挥作用，提高查询效率。创建索引#创建主键索引，一般主键索引在建表时候就确定了 ALTER TABLE `t_order` ADD PRIMARY KEY (`id`); #创建唯一索引 ALTER TABLE `t_order`ADD UNIQUE INDEX `idx_order_no`(`order_no`); # 创建普通索引 ALTER TABLE `t_order`ADD UNIQUE INDEX `idx_user_id`(`user_id`); # 全文索引(FULLTEXT)，使用 MATCH AGAINST 操作符进行全文搜索 ALTER TABLE t_order ADD FULLTEXT INDEX `idx_good_content` (good_name, good_content); # 全文索引查询 SELECT * FROM t_order WHERE MATCH(good_name, good_content) AGAINST('格力'); # 前缀索引，使用like 查询如 '手机%' ALTER TABLE t_order ADD INDEX idx_good_name (good_name(10));（4）按存储方式分类聚簇索引：表数据和索引的叶子节点存储在一起。也就是说，通过聚簇索引可以直接获取到数据，聚簇索引通常基于主键创建，如果表没有定义主键，会选择一个不允许为 NULL 的唯一索引作为聚簇索引非聚簇索引：索引的叶子节点存储的是指向数据行的指针，非聚簇索引在范围查询时可能需要多次回表查询，性能相对较差下图我们可以看出聚簇索引Id的叶子节点存储了表行的数据，而非聚簇索引name叶子节点存储的是指向聚簇索引行的记录指针2. 索引创建原则MySQL 索引创建的原则：1.选择合适的列通常选择经常用于查询、连接、排序和分组操作的列创建索引，对于很少使用或几乎不用于查询的列，避免创建索引，以免增加插入、更新和删除操作的开销。2.索引列的选择性优先为选择性高（不同值的数量较多）的列创建索引。例如，性别列只有两个可能的值（启用停用），选择性低，通常不太适合创建索引；而用户 ID 列通常具有较高的选择性。3.避免过度索引过多的索引会增加数据维护的成本，并可能降低写入性能。只创建真正必要的索引。4.优先考虑联合索引如果经常基于多个列的组合条件进行查询，考虑创建联合索引。但要注意列的顺序，将选择性高的列放在前面。5.主键和唯一索引为表定义主键，确保数据的唯一性和完整性，对于需要确保唯一性但又不是主键的列，可以创建唯一索引。6.短索引如果可能尽量使用较短的数据类型来创建索引，这可以减少索引存储空间和提高性能，对于较长内容的字段使用前缀索引7.覆盖索引（名词2）尽量创建能够覆盖查询的索引，即通过索引就可以获取到查询所需的全部数据，避免回表操作，提高查询效率。8. 避免索引列NULL值在 MySQL 中，允许为 NULL 的列创建索引，当索引列为 NULL 值可能会对索引的使用和性能产生一些影响：索引的存储：NULL 值需要额外的空间来标识，这可能会增加索引的存储空间。比较操作：在比较操作中，NULL 的处理方式与其他值不同。例如，WHERE column = NULL 通常不会返回任何结果，应该使用 WHERE column IS NULL 来判断是否为 NULL索引的选择性：如果某一列中存在大量的 NULL 值，可能会降低索引的选择性，从而影响索引的效果。复合索引：在复合索引中，如果某一列允许为 NULL，可能会导致一些复杂的情况，影响索引的使用效率。四、索引失效场景MySQL中的索引并不是在所有情况下都能有效工作，有时会失效，导致查询性能下降。了解这些情况有助于开发设计除更高效的查询和索引。以下是一些常见的索引失效情况：1.条件使用函数或表达式当在查询条件中使用了函数或表达式时，索引会失效。# 使用date SELECT * FROM t_order WHERE FROM_UNIXTIME(create_time, '%Y-%m-%d') = '2024-07-20';2.使用LIKE以通配符开头当使用LIKE查询时，如果通配符（%）出现在字符串的开头，索引会失效。SELECT * FROM t_order WHERE good_name LIKE '%手机'3.复合索引为遵循最左前缀原则在多列索引中，如果查询条件不包括索引的最左边列，索引会失效。这称为“最左前缀”原则。#假设我们订单表的复合多列索引有user_id和order_no ALTER TABLE t_order ADD INDEX idx_user_order (user_id, order_no); #以下查询，未遵循最左前缀原则，索引失效 SELECT * FROM t_order WHERE order_no='2024072822201'4. 数据类型不匹配查询条件中的数据类型与索引列的数据类型不匹配时，可能会导致索引失效。# user_id为整型 SELECT * FROM t_order where user_id='3'5. 使用OR条件当OR条件中的某些列没有索引时，索引会失效。# order_price没有索引 SELECT * FROM t_order where user_id=300 OR order_price=100五、SQL查询分析-EXPLAIN当我们API接口或函数执行较慢的时候，我们可通过一些工具来定位是否是sql慢查询,索引是否命中等。常见的工具如Arthas，Skywalking，或者开启mysql的慢查询日志，来分析哪些sql查询耗时较长。而EXPLAIN 是 MySQL 提供的一个命令，用于显示执行计划，让你了解 MySQL 是如何执行查询的。通过 EXPLAIN 输出的信息，可以分析和优化查询性能。以下是如何使用 EXPLAIN 以及解释其输出的基本方法。1. EXPLAIN结果字段说明id: 查询的序列号，标识查询中执行的顺序。复杂的查询可能会有多个步骤，每个步骤都有一个 id。select_type: 查询的类型，表示查询中各个部分的类型。常见的有 SIMPLE（简单查询，不包含子查询或联合查询）、PRIMARY（主查询）、SUBQUERY（子查询）等。table: 正在访问的表。type: 表示连接类型或访问类型。常见的有：ALL: 全表扫描，性能最差。index: 全索引扫描，类似于全表扫描，但扫描的是索引。range: 范围扫描，通常用于带有 BETWEEN 或范围条件的查询。ref: 使用非唯一索引扫描。eq_ref: 使用唯一索引扫描，通常用于主键或唯一键的查找。const/system: 表示表只有一行匹配，性能最好。possible_keys: 查询中可能使用的索引。key: 实际使用的索引。如果没有使用索引，则显示 NULLkey_len: 使用的索引的长度（字节数），越短越好。ref: 显示索引的哪一列被用于查找。rows: 估计要读取的行数。这个值是一个估计值，不是精确值。Extra: 额外的信息，提供更多关于查询执行的信息以及优化建议，常见的如下Using index：查询只使用索引而不需要访问表数据。Using where：使用 WHERE 子句过滤行。Using temporary：查询需要使用临时表来存储中间结果。Using filesort：MySQL 需要额外的排序操作，而不是按索引顺序读取行。Using index condition：部分条件通过索引扫描完成。通常我们根据结果的通过执行结果调整设计表的索引或sql查询语句，而我们则需要重点关注的字段主要为如下几个字段key和key_len：检查是否命中了索引（索引本身存在是否有失效等情况）type：查看sql是否有进一步的优化空间，是否存在全索引扫描或全盘扫描extra建议:，判断是否出现了回表的情况，如果出现了，可以尝试添加索引或修改返回字段来修复六、名词说明1.回表查询回表查询是指通过索引获取到的数据并不是最终需要的完整数据，还需要根据索引找到的主键值再次到主键索引中查找完整的行数据。我们已t_order表为例，如果假设good_name为我们的一个普通索引SELECT * FROM t_order WHERE good_name = '手机%';首先，通过 good_name 索引可以快速定位到满足条件的记录的主键值。但由于索引中只包含 good_name 和主键值，而上述查询需要获取所有字段（*），所以此时就需要根据主键值再到主键索引中进行查询，获取完整的行数据，这个过程就是回表查询。回表查询会增加数据库的 I/O 操作，可能会影响查询性能。在某些情况下，可以通过创建覆盖索引来避免回表查询，提高查询效率。2.覆盖索引覆盖索引（Covering Index）是指一个索引包含了查询中需要的所有列的数据，这样在查询时无需回表查询获取完整的行数据，直接从索引中就能获取到所有需要的信息，从而提高查询性能。我们还以为上面的例子为例子,sql如下SELECT id, good_name FROM t_student WHERE good_name = '手机%';如果在 good_name 列上创建了索引，并且索引中同时包含了 id 、 good_name 两列的数据，那么这个索引就是覆盖索引。覆盖索引的优点在于：减少磁盘 I/O 操作：无需回表查询，降低了磁盘的读取次数，提高了查询效率。提高并发性能：减少了锁的竞争，因为不需要对表数据进行锁定来获取完整的行数据。例如，在一个电商系统中，对于订单表经常根据订单状态和下单时间进行查询并获取订单号和金额，那么可以在订单状态和下单时间列上创建一个包含订单号和金额的联合索引，以形成覆盖索引，加快查询速度同时我们也可以通过覆盖索引实现超大表的分页查询,优化查询效率SELECT * FROM tb_order t , (SELECT id FROM t_order order by id limit 9000000,0) t1 where t.id=t1.id -
Mysql数据表生成文档表结构，导出并生成word文档的方法 因为项目需要编写库表结构word文档，需要交付验收，下面给大家介绍一种我用的方式步骤一：使用sql生成表结构数据SELECT ORDINAL_POSITION 序号, COLUMN_NAME 列名, COLUMN_TYPE 数据类型, -- COLUMN_DEFAULT 默认值, (CASE IS_NULLABLE WHEN 'NO' THEN '否' WHEN 'YES' THEN '是' ELSE '' END) 允许为空, COLUMN_KEY 主键, COLUMN_COMMENT 注释 FROM information_schema.`COLUMNS` WHERE TABLE_SCHEMA='dbname' -- 库名 AND table_name='table_demo' -- 表明步骤二：使用Navicat Premium工具导出Excle我们将查询成功的数据导出Excel，并将内容复制到doc中即可有其它更好方式的可以推荐下哦，虽然这个方法步骤有点多，但是总比一个个复制要好些，写代码动手能力比较强的伙伴，可以考虑使用上面的sql查询代码来生成表格，然后用代码生成word文档，navicat premium破解版获取点击： navicat premium破解版下载
-
linux 定时任务备份至七牛 场景生产数据定时备份的意义大家应该都是知道的，很多人备份只是备份到了本地，但是也会存在一定的隐患，比如客户一直不用系统，我们也不去注意，哪天服务器到期了过了几个月客户突然要用方向数据没了。。。使用到的工具主要看大家的服务器的安装情况，如果是安装了宝塔面板这种，有定时任务工具直接使用，而且也有免费的七牛云插件，设置起来超级简单，如果安装宝塔的不懂设置可以评论区留言，实在是太简单了本文就不讲了，说实话是会点鼠标就可以弄了基于linux系统内备份大概的意思就是你的mysql是自己用命令安装的。七牛平台shell脚本linux定时任务需要七牛云账号，用户需要自己创建，或者其它用其它云盘原理都是一样的（一）下载qshell工具并安装设置1. 工具下载说明文档与下载地址： 七牛工具下载 工具是七牛官方提供的，下载工具后传到服务器，主要看自己服务器的架构，我的服务是linux x86的，根据自己服务器去下载，把文件上传至服务目录/home/backup/shell 目录。并赋予权限chomd +x qshell2. 登录设置七牛云账号注意需要在工具目录下执行，如果需要任何目录执行需要添加环境变量可查看官方文档说明，更多说明以官方最新文档为准# 参数说明可自己根据情况修改 #ak :官方获取 #sk: 官方平台获取 #name : 任意用户名，不是七牛的账户，比如 db-test qshell account <ak> <sk> <name> #完成命令参考（二） shell编辑脚本在目录/home/backup/shell 下新建脚本backup.sh#!/bin/sh # mysql data backup script # # use mysqldump --help,get more detail. # 需要设置环境变量，crond中默认读取不到我们的一些环境 PATH=$PATH:/home/backup/shell export PATH dbname=<dbname> #备份文件目录 bakDir=/home/backup/sql logFile=/home/backup/backup.log month=` date +%Y%m ` # 七牛的备份目录，当前按数据库为一级目录，月份为2级目录如：dbname/202004/****.gz.sql qiniuPath=typecho_joe_theme/$month # 七牛空间名 qiniuBucket=<bucketName> datetime=`date +%Y%m%d%H%M%S` keepDay=7 echo "-------------------------------------------" >> $logFile echo $(date +"%y-%m-%d %H:%M:%S") >> $logFile echo "--------------------------" >> $logFile cd $bakDir bakFile=$dbname.$datetime.sql.gz # yum,apt-get,源码编译安装释放 mysqldump -u$user -p$password $dbname | gzip > $bakFile #docker安装执行方式,需要修改<dbname>为自己的数据库 #docker exec mysql5.6 sh -c 'exec mysqldump <dbname> -uroot -p"$MYSQL_ROOT_PASSWORD"' | gzip > $bakDir/$bakFile echo "数据库 [$dbname] 备份完成" >> $logFile echo "$bakDir/$bakFile" >> $logFile echo "开始上传备份文件至七牛云存储" >> $logFile #七牛上传命令，分片上传适用大文件，当前使用低频储存，具体命令可以查看文档 qshell rput $qiniuBucket $qiniuPath/$bakFile $bakDir/$bakFile --storage 1 | sed -r "s/\x1B\[([0-9]{1,2}(;[0-9]{1,2})?)?[m|K]//g" >> $logFile 2>&1 echo "删除${keepDay}天前的备份文件" >> $logFile find $bakDir -ctime +$keepDay >> $logFile find $bakDir -ctime +$keepDay -exec rm -rf {} \; echo " " >> $logFile echo " " >> $logFile 参考文献：qshell命令说明rput 操作说明（二） 添加定时任务需要使用到cron命令，本文不展开讲这个，需要了解的可以参考以下文献文献一： crontab配置方法文献二： Linux系统crontab定时任务的配置概要与常见问题文献三： crontab 与 环境变量下面直说具体操作，执行器需要先检查crond的状态service crond status，如果是在运行中就没什么问题编辑定时任务#修改当前用户定时任务 crontab -e 添加任务脚本，操作和vi是一样的# 每天凌晨3点执行脚本， 0 3 * * * /home/backup/backup.sh # 如果是测试可以用以下的脚本,意思是没2分钟执行一次，看看有没有成本 */2 * * * * /home/backup/backup.sh查看定时任务#查看当前任务情况 crondtab -l（三） 完成设置完成以后最好要检查下是否成功，建议先设置按分钟执行备份看看，如果中间有什么问题要多百度，一般都可以搜得到
-
【MySql】Specified key was too long; max key length is 767 bytes的解决方案 问题背景由于业务需要，需要做数据库迁移，迁移由5.7版本得mysql到现有的mysql5.6版本，主要是因为更innodb_large_prefix 参数有关由于MySQL的InnoDB引擎表索引字段长度的限制为767字节，因此对于多字节字符集的大字段或者多字段组合，创建索引时会出现该问题。在5.6中innodb_large_prefix 默认关闭，在5.7中默认开启。在5.6中默认为 offSpecified key was too long; max key length is 767 bytes原来是主键的长度太长，最大长度仅支持767字节，注意，这里的是字节。那么，我定义一个主键是varchar(500)的字段，不管我使用utf8编码，那么500字符长度将占用5003的字节长度（utf8最多支持3个字节长度）；或是我使用utf8mb4编码，那么500字符长度将占用5004的字节长度（utf8mb4最多支持4个字节长度），都大大超过了767字节。如何去解决呢？先检查一下是不是数据库被限制了索引的大小，查询innodb_large_prefix这个字段，这个字段限制了索引前缀的大小。关闭此限制后，索引前缀的大小将可以达到3072字节。方法1：修改全局变量修改全局变量 ，当mysql重启后将失效，建议直接修改配置文件SHOW variables like 'innodb_large_prefix';如果查询的值是OFF的话 执行下面命令SET GLOBAL INNODB_LARGE_PREFIX = ON;另外，innodb_large_prefix这个属性在5.6上是默认关闭的，而在5.7上是默认开启的。执行完了 之后 还得查看当前的innodb_file_format引擎格式类型是不是BARRACUDA执行SHOW variables like 'innodb_file_format';如果不是的话则需要修改SET GLOBAL innodb_file_format = BARRACUDA;方法二：修改配置[mysqld] innodb_large_prefix = on innodb_file_format = BARRACUDA最后，创建表的时候，还需要指定表的 row format 格式为 Dynamic 或者 Compressed，如下示例：CREATE TABLE test( name varchar(500) CHARACTER SET utf8 COLLATE utf8_bin, PRIMARY KEY (`name `) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic;版权声明：本文为CSDN博主「SunAlwaysOnline」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。参考原文链接：https://blog.csdn.net/qq_33591903/article/details/103927547
-
Mysql数据库误删/错删数据恢复-binlog日志使用 一、binlog 基本认识MySQL的二进制日志可以说是MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。一般来说开启二进制日志大概会有1%的性能损耗(参见MySQL官方中文手册 5.1.24版)。二进制有两个最重要的使用场景:MySQL Replication在Master端开启binlog，Mster把它的二进制日志传递给slaves来达到master-slave数据一致的目的，也就是大家比较常听到主从复制，和读写分离的应用场景数据恢复，通过使用mysqlbinlog工具来使恢复数据，也是大家说的数据恢复，用于数据误删找回的场景使用。二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的DDL和DML(除了数据查询语句)语句事件。二、开启binlog日志编辑打开mysql配置文件vi /usr/local/mysql/etc/my.cnf在[mysqld] 区块下，设置/添加 log-bin=mysql-bin 确认是打开状态(值 mysql-bin 是日志的基本名或前缀名)； #开启log日志 log-bin = mysql-bin #默认路径可修改 log_bin = /var/lib/mysql/mysql-bin.log #日志过期时间，设置为0则永不过期，默认设置不过期 expire_logs_days = 7 #模式 binlog_format = ROW #超过max_binlog_size或超过6小时会切换到下一序号文件 max_binlog_size = 100M #二进制日志缓冲大小,通过show status like 'binlog_%';查看调整写入磁盘的次数，写入磁盘为0最好 binlog_cache_size = 16M max_binlog_cache_size = 256M #改参数默认是打开的，在数据库启动后立即启动自动relay log恢复，在恢复过程中，创建一个新的relay log文件，将sql线程的位置初始化到新的relay log，并将i/o线程初始化到sql线程位置。 relay_log_recovery = 1 关于MYSQL中binlog_format参数说明重启mysqld服务使配置生效三、登录mysql服务器，通过mysql的变量配置表，查看二进制日志是否已开启登录服务器mysql -uroot -p123456 mysql> show variables like 'log_%'; +----------------------------------------+---------------------------------------+ | Variable_name | Value | +----------------------------------------+---------------------------------------+ | log_bin | ON | ------> ON表示已经开启binlog日志 | log_bin_basename | /usr/local/mysql/data/mysql-bin | | log_bin_index | /usr/local/mysql/data/mysql-bin.index | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | log_error | /usr/local/mysql/data/martin.err | | log_output | FILE | | log_queries_not_using_indexes | OFF | | log_slave_updates | OFF | | log_slow_admin_statements | OFF | | log_slow_slave_statements | OFF | | log_throttle_queries_not_using_indexes | 0 | | log_warnings | 1 | +----------------------------------------+---------------------------------------+四、常用binlog日志操作命令1.查看所有binlog日志列表 mysql> show master logs;2.查看master状态，即最后(最新)一个binlog日志的编号名称，及其最后一个操作事件pos结束点(Position)值 mysql> show master status;3.刷新log日志，自此刻开始产生一个新编号的binlog日志文件 mysql> flush logs; 注： 每当mysqld服务重启时，会自动执行此命令，刷新binlog日志；在mysqldump备份数据时加 -F 选项也会刷新binlog日志；4.重置(清空)所有binlog日志，请勿在正式环境操作mysql> reset master;五、查看某个binlog日志内容，常用有两种方式：1.使用mysqlbinlog自带查看命令法：注: binlog是二进制文件，普通文件查看器cat more vi等都无法打开，必须使用自带的 mysqlbinlog 命令查看binlog日志与数据库文件在同目录中(我的环境配置安装是选择在/usr/local/mysql/data中)使用mysqlbinlog命令时如果报错，就加上 --no-defaults选项mysqlbinlog /usr/local/mysql/data/mysql-bin.000013下面截取一个片段分析： # at 552 #131128 17:50:46 server id 1 end_log_pos 665 Query thread_id=11 exec_time=0 error_code=0 ---->执行时间:17:50:46；pos点:665 SET TIMESTAMP=1385632246/*!*/; update zyyshop.stu set name='李四' where id=4 ---->执行的SQL /*!*/; # at 665 #131128 17:50:46 server id 1 end_log_pos 692 Xid = 1454 ---->执行时间:17:50:46；pos点:692 注:server id 1 数据库主机的服务号；end_log_pos 665 pos点thread_id=11 线程号2.上面这种办法读取出binlog日志的全文内容较多，不容易分辨查看pos点信息，这里介绍一种更为方便的查询命令： show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]; 选项解析：IN 'log_name' 指定要查询的binlog文件名(不指定就是第一个binlog文件)FROM pos 指定从哪个pos起始点开始查起(不指定就是从整个文件首个pos点开始算)LIMIT [offset,] 偏移量(不指定就是0)row_count 查询总条数(不指定就是所有行) 截取部分查询结果： *************************** 20. row *************************** Log_name: mysql-bin.000021 ----------------------------------------------> 查询的binlog日志文件名 Pos: 11197 ----------------------------------------------------------> pos起始点: Event_type: Query ----------------------------------------------------------> 事件类型：Query Server_id: 1 --------------------------------------------------------------> 标识是由哪台服务器执行的 End_log_pos: 11308 ----------------------------------------------------------> pos结束点:11308(即：下行的pos起始点) Info: use `zyyshop`; INSERT INTO `team2` VALUES (0,345,'asdf8er5') ---> 执行的sql语句 *************************** 21. row *************************** Log_name: mysql-bin.000021 Pos: 11308 ----------------------------------------------------------> pos起始点:11308(即：上行的pos结束点) Event_type: Query Server_id: 1 End_log_pos: 11417 Info: use `zyyshop`; /*!40000 ALTER TABLE `team2` ENABLE KEYS */ *************************** 22. row *************************** Log_name: mysql-bin.000021 Pos: 11417 Event_type: Query Server_id: 1 End_log_pos: 11510 Info: use `zyyshop`; DROP TABLE IF EXISTS `type`这条语句可以将指定的binlog日志文件，分成有效事件行的方式返回，并可使用limit指定pos点的起始偏移，查询条数；A.查询第一个(最早)的binlog日志： mysql> show binlog events\G; B.指定查询 mysql-bin.000021 这个文件：mysql> show binlog events in 'mysql-bin.000021';C.指定查询 mysql-bin.000021 这个文件，从pos点:8224开始查起：mysql> show binlog events in 'mysql-bin.000021' from 8224;D.指定查询 mysql-bin.000021 这个文件，从pos点:8224开始查起，查询10条mysql> show binlog events in 'mysql-bin.000021' from 8224 limit 10;E.指定查询 mysql-bin.000021 这个文件，从pos点:8224开始查起，偏移2行，查询10条 mysql> show binlog events in 'mysql-bin.000021' from 8224 limit 2,10;六、binlog日志恢复实验我们来模拟数据恢复的场景 ,zyyshop是数据库1.(时间线1)假设现在是凌晨4:00，我的计划任务开始执行一次完整的数据库备份：将zyyshop数据库备份到 /root/BAK.zyyshop.sql 文件中：mysqldump -uroot -p123456 -lF --log-error=/root/myDump.err -B zyyshop > /root/BAK.zyyshop.sql大约过了若干分钟，备份完成了，我不用担心数据丢失了，因为我们有备份了由于我使用了-F选项，当备份工作刚开始时系统会刷新log日志，产生新的binlog日志来记录备份之后的数据库“增删改”操作，查看一下： mysql> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000023 | 120 | | | +------------------+----------+--------------+------------------+也就是说， mysql-bin.000023 是用来记录4:00之后对数据库的所有“增删改”操作。(时间线2)早9:00上班了，业务的需求会对数据库进行各种“增删改”操作~~~ @ 比如：创建一个学生表并插入、修改了数据等等： CREATE TABLE IF NOT EXISTS `tt` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(16) NOT NULL, `sex` enum('m','w') NOT NULL DEFAULT 'm', `age` tinyint(3) unsigned NOT NULL, `classid` char(6) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;导入实验数据 insert into zyyshop.tt(`name`,`sex`,`age`,`classid`) values('yiyi','w',20,'cls1'),('xiaoer','m',22,'cls3'),('zhangsan','w',21,'cls5'),('lisi','m',20,'cls4'),('wangwu','w',26,'cls6');查看数据 mysql> select * from zyyshop.tt; +----+----------+-----+-----+---------+ | id | name | sex | age | classid | +----+----------+-----+-----+---------+ | 1 | yiyi | w | 20 | cls1 | | 2 | xiaoer | m | 22 | cls3 | | 3 | zhangsan | w | 21 | cls5 | | 4 | lisi | m | 20 | cls4 | | 5 | wangwu | w | 26 | cls6 | +----+----------+-----+-----+---------+中午时分又执行了修改数据操作mysql> update zyyshop.tt set name='李四' where id=4;mysql> update zyyshop.tt set name='小二' where id=2;修改后的结果： mysql> select * from zyyshop.tt; +----+----------+-----+-----+---------+ | id | name | sex | age | classid | +----+----------+-----+-----+---------+ | 1 | yiyi | w | 20 | cls1 | | 2 | 小二 | m | 22 | cls3 | | 3 | zhangsan | w | 21 | cls5 | | 4 | 李四 | m | 20 | cls4 | | 5 | wangwu | w | 26 | cls6 | +----+----------+-----+-----+---------+(时间线3)假设此时是下午18:00，莫名地执行了一条悲催的SQL语句，整个数据库都没了： # 删除数据库请勿使用正式环境数据 mysql> drop database zyyshop;七、怎么解决恢复 ？别慌！先仔细查看最后一个binlog日志，并记录下关键的pos点，到底是哪个pos点的操作导致了数据库的破坏(通常在最后几步)；备份一下最后一个binlog日志文件： ll /usr/local/mysql/data | grep mysql-bin cp -v /usr/local/mysql/data/mysql-bin.000023 /root/此时执行一次刷新日志索引操作，重新开始新的binlog日志记录文件，理论说 mysql-bin.000023 这个文件不会再有后续写入了(便于我们分析原因及查找pos点)，以后所有数据库操作都会写入到下一个日志文件； mysql> flush logs; mysql> show master status;2 .读取binlog日志，分析问题方式一：使用mysqlbinlog读取binlog日志：mysqlbinlog /usr/local/mysql/data/mysql-bin.000023方式二：登录服务器，并查看(推荐)： mysql> show binlog events in 'mysql-bin.000023'; 以下为末尾片段： +------------------+------+------------+-----------+-------------+------------------------------------------------------------+ | Log_name | Pos | Event_type | Server_id | End_log_pos | Info | +------------------+------+------------+-----------+-------------+------------------------------------------------------------+ | mysql-bin.000023 | 922 | Xid | 1 | 953 | COMMIT /* xid=3820 */ | | mysql-bin.000023 | 953 | Query | 1 | 1038 | BEGIN | | mysql-bin.000023 | 1038 | Query | 1 | 1164 | use `zyyshop`; update zyyshop.tt set name='李四' where id=4| | mysql-bin.000023 | 1164 | Xid | 1 | 1195 | COMMIT /* xid=3822 */ | | mysql-bin.000023 | 1195 | Query | 1 | 1280 | BEGIN | | mysql-bin.000023 | 1280 | Query | 1 | 1406 | use `zyyshop`; update zyyshop.tt set name='小二' where id=2| | mysql-bin.000023 | 1406 | Xid | 1 | 1437 | COMMIT /* xid=3823 */ | | mysql-bin.000023 | 1437 | Query | 1 | 1538 | drop database zyyshop | +------------------+------+------------+-----------+-------------+------------------------------------------------------------+ 通过分析，造成数据库破坏的pos点区间是介于 1437--1538 之间，只要恢复到1437前就可。3.现在把凌晨备份的数据恢复：mysql -uroot -p123456 -v < /root/BAK.zyyshop.sql;注: 至此截至当日凌晨(4:00)前的备份数据都恢复了。但今天一整天(4:00--18:00)的数据肿么办呢？就得从前文提到的 mysql-bin.000023 新日志做文章了......4 .从binlog日志恢复数据恢复语法格式：mysqlbinlog mysql-bin.0000xx | mysql -u用户名 -p密码 数据库名 常用选项： --start-position=953 起始pos点 --stop-position=1437 结束pos点 --start-datetime="2013-11-29 13:18:54" 起始时间点 --stop-datetime="2013-11-29 13:21:53" 结束时间点 --database=zyyshop 指定只恢复zyyshop数据库(一台主机上往往有多个数据库，只限本地log日志) 不常用选项： -u --user=name Connect to the remote server as username.连接到远程主机的用户名 -p --password[=name] Password to connect to remote server.连接到远程主机的密码 -h --host=name Get the binlog from server.从远程主机上获取binlog日志 --read-from-remote-server Read binary logs from a MySQL server.从某个MySQL服务器上读取binlog日志小结：实际是将读出的binlog日志内容，通过管道符传递给mysql命令。这些命令、文件尽量写成绝对路径；A.完全恢复(本例不靠谱，因为最后那条 drop database zyyshop 也在日志里，必须想办法把这条破坏语句排除掉，做部分恢复)/mysqlbinlog /usr/local/mysql/data/mysql-bin.000021 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop `` B.指定pos结束点恢复(部分恢复)： @ --stop-position=953 pos结束点 注：此pos结束点介于“导入实验数据”与更新“name='李四'”之间，这样可以恢复到更改“name='李四'”之前的“导入测试数据” # /usr/local/mysql/bin/mysqlbinlog --stop-position=953 --database=zyyshop /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop 在另一终端登录查看结果(成功恢复了)： mysql> select * from zyyshop.tt; +----+----------+-----+-----+---------+ | id | name | sex | age | classid | +----+----------+-----+-----+---------+ | 1 | yiyi | w | 20 | cls1 | | 2 | xiaoer | m | 22 | cls3 | | 3 | zhangsan | w | 21 | cls5 | | 4 | lisi | m | 20 | cls4 | | 5 | wangwu | w | 26 | cls6 | +----+----------+-----+-----+---------+``C.指定pso点区间恢复(部分恢复)：更新 name='李四' 这条数据，日志区间是Pos[1038] --> End_log_pos[1164]，按事务区间是：Pos[953] --> End_log_pos[1195]；更新 name='小二' 这条数据，日志区间是Pos[1280] --> End_log_pos[1406]，按事务区间是：Pos[1195] --> End_log_pos[1437]；c1.单独恢复 name='李四' 这步操作，可这样：mysqlbinlog --start-position=1038 --stop-position=1164 --database=zyyshop /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop也可以按事务区间单独恢复，如下：mysqlbinlog --start-position=953 --stop-position=1195 --database=zyyshop /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshopc2.单独恢复 name='小二' 这步操作，可这样：mysqlbinlog --start-position=1280 --stop-position=1406 --database=zyyshop /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop也可以按事务区间单独恢复，如下：mysqlbinlog --start-position=1195 --stop-position=1437 --database=zyyshop /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshopc3.将 name='李四'、name='小二' 多步操作一起恢复，需要按事务区间，可这样：mysqlbinlog --start-position=953 --stop-position=1437 --database=zyyshop /usr/local/mysql/data/mysql-bin.000023 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshopD.在另一终端登录查看目前结果(两名称也恢复了)： mysql> select * from zyyshop.tt; +----+----------+-----+-----+---------+ | id | name | sex | age | classid | +----+----------+-----+-----+---------+ | 1 | yiyi | w | 20 | cls1 | | 2 | 小二 | m | 22 | cls3 | | 3 | zhangsan | w | 21 | cls5 | | 4 | 李四 | m | 20 | cls4 | | 5 | wangwu | w | 26 | cls6 | +----+----------+-----+-----+---------+E.也可指定时间区间恢复(部分恢复)：除了用pos点的办法进行恢复，也可以通过指定时间区间进行恢复，按时间恢复需要用mysqlbinlog命令读取binlog日志内容，找时间节点。比如，我把刚恢复的tt表删除掉，再用时间区间点恢复 mysql> drop table tt; @ --start-datetime="2013-11-29 13:18:54" 起始时间点 @ --stop-datetime="2013-11-29 13:21:53" 结束时间点执行命令 mysqlbinlog --start-datetime="2013-11-29 13:18:54" --stop-datetime="2013-11-29 13:21:53" --database=zyyshop /usr/local/mysql/data/mysql-bin.000021 | /usr/local/mysql/bin/mysql -uroot -p123456 -v zyyshop总结：所谓恢复的原理 ，就是让mysql将保存在binlog日志中指定段落区间的sql语句逐个重新执行一次而已。
