十五张图带你快速入门 shardingsphere-proxy
Apache ShardingSphere 是一款分布式的数据库生态系统,它包含两大产品: ShardingSphere-Proxy ShardingSphere-JDBC 很多同学对于 ShardingSphere-JDBC 已经能非常熟悉的使用了,但关于网上关于 ShardingSph...[2024/8/26]
不是 PHP 不行了,而是 MySQL 数据库扛不住啊
大家好,我是码农先森。 大多数的业务场景下 PHP 还没有达到性能瓶颈,然而 MySQL 数据库就先行驾崩了。但我们总是不分青红皂白,一股脑的把原因归结于是 PHP 语言不行了,每当遇到这种情形我就会感叹到 PHP 的命真苦啊。PHP 作为一门优秀的开源编程语言,在编程语言界一直享有「PHP是...[2024/8/19]
删库了不用跑路!binlog恢复数据实操
各位道友大家好呀! 想必道友们或多或少都听说过MySQL的binlog的作用,它记录了数据库整个的生命周期,可用于恢复数据或者从库同步数据。 那么如果发生了数据库误删,具体该怎样恢复数据呢? 下面就以一个例子来给道友们演示一下,让我们开始吧!do it! 数据备份 首先,数据库要定时进行...[2024/8/7]
MySQL 是如何实现数据的排序的?
1.背景 或许你面试的时候被问到了mysql的排序问题 又或许你在学习排序算法的时候想到了数据库的排序是如何实现的呢 下面重点从面试的角度来回答这个问题 2.面试回答 1.普通面试者回答 普通面试者的回答通常是点对点的回答,如下: MySQL 实现数据的排序主要通过排序算法和索引结构来完...[2024/8/7]
如何让SQL Server像MySQL一样拥有慢查询日志(Slow Query Log慢日志)
如何让SQL Server像MySQL一样拥有慢查询日志(Slow Query Log慢日志) SQL Server一直以来被人诟病的一个问题是缺少了像MySQL的慢日志功能,程序员和运维无法知道数据库过去历史的慢查询语句。 因为SQLServer默认是不捕获过去历史的长时间阻塞的SQL语句,...[2024/7/29]
MYSQL DQL in 到底会不会走索引&in 范围查询引发的思考。
前情引子 in 会不会走索引?很多人肯定会回答、废话、如果命中了索引、那肯定会走。 其实我和大多数人一样、一开始也是这么想的、直至有一个血淋淋的案子让我有所改观、有所思考。 背景介绍 业务的工单表、我们分了64张、以userId作为分表键、业务实际场景中未使用到搜索引擎、主要是一些B端业务。...[2024/7/17]
【实操记录】MySQL主从配置
本文使用MySQL原生支持的主从同步机制,详细记录了配置步骤及运维操作方法,可供大家直接参考、使用。 本文假设已经部署了两台主机的MySQL软件,且数据库服务正常,详细部署步骤可本站搜索:"mysql二进制安装包部署" ■■ 主从配置 ■ master 授权同步账户 CREATE USER ...[2024/7/12]
mysql主从搭建
1、源码包下载,下载带boost,不然这个boost有的搞,小白不建议尝试 MySQL :: Download MySQL Community Server (Archived Versions) 2、安装需要的编译包 yum install -y gcc gcc-c++ cmake ...[2024/7/12]
MySQL中为什么要使用索引合并(Index Merge)?
本文分享自华为云社区《【华为云MySQL技术专栏】MySQL中为什么要使用索引合并(Index Merge)?》,作者:Gau DB 数据库。 在生产环境中,MySQL语句的where查询通常会包含多个条件判断,以AND或OR操作进行连接。然而,对一个表进行查询最多只能利用该表上的一个索引,其...[2024/7/12]
MySQL派生表合并优化的原理和实现
本文分享自华为云社区《【华为云MySQL技术专栏】MySQL 派生表合并优化的原理和实现》,作者:Gau DB 数据库。 引言 MySQL是一种流行的开源关系型数据库管理系统,广泛应用于各种Web应用程序和企业系统中。随着数据量的增加和查询复杂度的提高,优化SQL查询性能变得至关重要。派生...[2024/7/11]
好消息!数据库管理神器 Navicat 推出免费精简版:Navicat Premium Lite
前言 好消息,前不久Navicat推出了免费精简版的数据库管理工具Navicat Premium Lite,可用于商业和非商业目的,我们再也不需要付费、找破解版或者找其他免费平替工具了,有需要的同学可以马上下载使用起来。 工具官方介绍 Navicat Premium Lite 是 Navica...[2024/7/8]
使用EF 连接 数据库 SQLserver、MySql 实现 CodeFirst
1.新建项目,下载Nuget安装包 创建项目需要注意几点,如果是基于 .net framework 的项目 需要选择 相应版本的 EF, 如果是跨平台则选择EF Core版本。 我这里选择的是 .net framework 版本。红框里面是 实现EF Code First 需要的包。 ...[2024/7/3]
升级到 MySQL 8.4,MySQL 启动报错:io_setup() failed with EAGAIN
问题 最近碰到一个 case,一台主机上,部署了多个实例。之前使用的是 MySQL 8.0,启动时没有任何问题。但升级到 MySQL 8.4 后,部分实例在启动时出现了以下错误。 [Warning] [MY-012582] [InnoDB] io_setup()&...[2024/7/1]
Python中使用MySQL模糊查询的方法
1.方法一:使用pymysql库的方法 当在Python中使用MySQL进行模糊查询时,我们通常会使用pymysql或mysql-connector-python这样的库来连接MySQL数据库并执行查询。以下是一个使用pymysql进行模糊查询的详细示例,包括安装库、连接数据库、执行查询以及处理...[2024/6/28]
MYSQL中怎么查询LONGBLOB类型数据的大小
在MySQL中,LONGBLOB 是一种二进制大对象(BLOB)数据类型,用于存储大量的二进制数据。但是,LONGBLOB 数据类型本身并不直接存储数据的大小(长度)。它存储的是二进制数据的实际内容。 1.查询 LONGBLOB 字段中的数据大小的方法示例 要查询 LONGBLOB 字段中的数...[2024/6/26]
MySQL自定义函数(User Define Function)开发实例——发送TCP/UDP消息
开发背景 当数据库中某个字段的值改为特定值时,实时发送消息通知到其他系统。 实现思路 监控数据库中特定字段值的变化可以用数据库触发器实现。还需要实现一个自定义的函数,接收一个字符串参数,然后将这个字符传通过udp消息发送到指定端口。 在触发器中执行这个自定义函数并在其他系统中监听指定端口的消...[2024/6/26]
【BUG记录】MySQL插入Emoji表情报错"Incorrect string value"
大家好呀,我是summo,这次的文章标题是一个Mysql数据库的SQL错误,遇到的同学自然懂,没遇到的同学希望你永远也不要遇到。 一、错误说明 Cause: java.sql.SQLException: Incorrect string value: ''\xF0\x9F\x90\xA6'' ...[2024/6/25]
MySQL Explain 关键字详解
概述 explain 关键字可以模拟执行 sql 查询语句,输出执行计划,分析查询语句的执行性能 使用方式如下:explain + sql explain select * from t1 执行计划各字段含义 1. id 如果 id 序号相同,从上往下执行 如果 id 序号不同,序号...[2024/6/17]
MySql 中 select 使用
MySql select 多种查询方式 前言 在数据库使用过程中,使用最多的场景就是查询数据,所以今天我们总结一下常用用的查询 简单查询 带条件查询 多条件查询 输出指定字段查询 分组查询 查询结果排序 分页查询 多表之间查询 准备三张表:订单 orders 商品 commodity 用户...[2024/6/17]
TiKV 源码分析之 PointGet
作者:来自 vivo 互联网存储研发团队-Guo Xiang 本文介绍了TiDB中最基本的PointGet算子在存储层TiKV中的执行流程。 一、背景介绍 TiDB是一款具有HTAP能力(同时支持在线事务处理与在线分析处理 )的融合型分布式数据库产品,具备水平扩容或者缩容等重要特性。Ti...[2024/6/14]
异构数据源同步之数据同步 → DataX 使用细节
开心一刻 中午我妈微信给我消息 妈:儿子啊,妈电话欠费了,能帮妈充个话费吗 我:妈,我知道了,我帮你充 当我帮我妈把话费充好,正准备回微信的时候,我妈微信给我发消息了 妈:等会儿子,不用充了,刚刚有个二臂帮妈充上了 我输入框中的(妈,充好了)是发还是不发? 简单使用 关于 Data...[2024/6/5]
mysql binlog查看指定数据库
1.mysql binlog查看指定数据库的方法 MySQL 的 binlog(二进制日志)主要记录了数据库上执行的所有更改数据的 SQL 语句,包括数据的插入、更新和删除等操作。但直接查看 binlog 并不直观,因为它是以二进制格式存储的。为了查看 binlog 中的内容,我们通常使用 my...[2024/6/3]
windows安装mysql
1、官网下载:https: dev.mysql.com/download mysql/ 2、解压 3、配置环境变量 添加mysql安装的bin文件目录的路径 4、配置初始化的my.ini文件的文件 解压后的目录并没有的...[2024/5/31]
一文搞懂 MySQL 日志
前言 MySQL 的日志记录了运行的各种信息,是 MySQL 事务、性能、数据容灾、异常排查等的基础。本文将介绍 MySQL 一些关键日志的作用和原理。 MySQL InnoDB 引擎重要的三个日志: 日志 说明 redo log 重做日志,保证事务的持久性 undo lo...[2024/5/31]
浅析MySQL 8.0直方图原理
本文分享自华为云社区《【MySQL技术专栏】MySQL8.0直方图介绍》,作者:Gau DB 数据库。 背景 数据库查询优化器负责将SQL查询转换为尽可能高效的执行计划,但因为数据环境不断变化导致优化器对查询数据了解的不够充足,可能无法生成最优的执行计划进而影响查询效率,因此MySQL8.0推...[2024/5/27]
分布式任务调度内的 MySQL 分页查询优化
作者:vivo 互联网数据库团队- Qiu Xinbo 本文主要通过图示介绍了用主键进行分片查询的过程,介绍了主键分页查询存在SQL性能问题,如何去创建高效的索引去优化主键分页查询的SQL性能问题。对于数据分布不均如何发现,提供了一些SQL查询案例来进行参考,对MySQL Ind...[2024/5/24]
🐬记一次MySQL执行修改语句超时问题
异常问题 原因分析 这个问题发生在开发环境,怀疑是提交事务时终止项目运行,没有提交该事务,造成死锁 调试该事务时时间太长,为什么说有这个原因呢,因为通过查找日志显示 The client was disconnected by the server because of inactiv...[2024/5/22]
MYSQL造数据占用临时表空间
在MySQL中,临时表空间通常用于存储如ORDER BY、GROUP BY、DISTINCT、UNION、JOIN等操作中产生的临时数据。当这些操作的数据集太大而无法在内存中完成时,MySQL会使用磁盘上的临时表空间。 一、MYSQL造数据占用临时表空间的方法 以下是一些方法,我们可以通过它们...[2024/5/22]
MySQL的索引优化
一、索引的使用场景 1、全值匹配 通过主键索引查询 mysql> explain select * from t_goods where id = 1 \G; *************************** 1. row *************************** ...[2024/5/21]
MySQL索引 - 奋--斗
1、索引的概述 索引是一种用于快速查询和检索数据的数据结构,其本质可以看成是一种排序好的数据结构。索引的作用就相当于书的目录。打个比方: 我们在查字典的时候,如果没有目录,那我们就只能一页一页的去找我们需要查的那个字,速度很慢。如果有目录了,我们只需要先去目录里查找字的位置,然后直接翻到那一页就...[2024/5/13]
EasyExcel处理Mysql百万数据的导入导出案例,秒级效率,拿来即用!
一、写在开头 今天终于更新新专栏 《EfficientFarm》 的第二篇博文啦,本文主要来记录一下对于EasyExcel的高效应用,包括对MySQL数据库百万级数据量的导入与导出操作,以及性能的优化(争取做到秒级性能!)。 二、如何做技术选型 其实在市面上我们有很多常用的excel操作依赖...[2024/5/13]
厉害了!12秒将百万数据通过EasyExcel导入MySQL数据库中
一、写在开头 我们在上一篇文章中提到了通过EasyExcel处理Mysql百万数据的导入功能(一键看原文),当时我们经过测试数据的反复测验,100万条放在excel中的数据,4个字段的情况下,导入数据库,平均耗时500秒,这对于我们来说肯定难以接受,今天我们就来做一次性能优化。 二、性能瓶...[2024/5/13]
压榨数据库的真实处理速度
引子 你了解你们线上数据库的真实处理速度吗?请认真思考半分钟再回答。 我先来回答一下:的确知道,因为我特别关注这块内容,咨询过DBA同学。其他朋友欢迎在评论区留言,大家一起探讨。 为什么会突然提出这样一个问题呢,因为前几天看到一篇文章是讲电商系统中如何优化库存预占能力,文中提到:“经压测...[2024/5/11]
MySQL面试必备二之binlog日志
本文首发于公众号:Hunter后端 原文链接:MySQL面试必备二之binlog日志 关于 binlog,常被问到几个面试问题如下: binlog 是什么 binlog 都记录什么数据 binlog 都有哪些类型,都有什么特点 如何使用 binlog 恢复数据 binlog 都有哪些作...[2024/5/11]
MySQL—MySQL架构
MySQL—MySQL架构 MySQL逻辑架构图如下: Connectors连接器:负责跟客户端建立连接; Management Serveices & Utilities系统管理和控制工具; Connection Pool连接池:管理用户连接,监听并接收连接的请求,转发所有连接的...[2024/4/17]
Mysql安装和远程登录--Centos7
在Centos7中使用的包管理工具是yum,当然使用包管理工具安装也是最方便的。 本文操作内容需要在root用户下,否则有些步骤无法成功执行。 系统环境信息展示 安装 MySQL 提供的 RPM wget https: dev.mysql.com/get/mysql80-commun...[2024/4/15]
遵循这些MySQL设计规范,再也没被组长喷过
分享是最有效的学习方式。 博客:https: blog.ktdaddy.com/ 故事 会议室里,小猫挠着头,心里暗暗叫苦着“哎,这代码都撸完了呀,改起来成本也太大了。” 原来就在刚才,组长找到了小猫,说代码review过程中发现有些数据表模型设计得不合理,要求小猫改掉。小猫大概是设计...[2024/4/10]
MYSQL 同步到ES 如何设计架构保持一致性
简单使用某个组件很容易,但是一旦要搬到生产上就要考虑各种各样的异常,保证你方案的可靠性,可恢复性就是我们需要思考的问题。今天来聊聊我们部门在 MYSQL 同步到ES的方案设计。 在面对复杂条件查询时,MYSQL往往显得力不从心,一般公司的做法会通过将mysql中的数据同步到ES,之后的查询...[2024/3/22]
MySQL系列:索引失效场景总结 - Hello-Brand
相关文章 数据库系列:MySQL慢查询分析和性能优化 数据库系列:MySQL索引优化总结(综合版) 数据库系列:高并发下的数据字段变更 数据库系列:覆盖索引和规避回表 数据库系列:数据库高可用及无损扩容 数据库系列:使用高区分度索引列提升性能 数据库系列:前缀索引和索引长度的取舍 ...[2024/3/19]
mysql for update是锁表还是锁行
转载至我的博客 https: www.infrastack.cn ,公众号:架构成长指南 在并发一致性控制场景中,我们常常用for update悲观锁来进行一致性的保证,但是如果不了解它的机制,就进行使用,很容易出现事故,比如for update进行了锁表导致其他请求只能等待,从而拖垮系统...[2024/3/18]
捉虫日记 | MySQL 8.0从库某些情况下记录重放的CREATE TABLE、DROP TABLE语句到慢日志(slow log)
作者:卢文双 资深数据库内核研发 本文首发于 2023-11-30 20:47:35 https: dbkernel.com 问题描述 当主从复制采用 binlog 的行模式时,如果从库启用 slow_query_log、log_slow_replica_statements 且从库重...[2024/3/18]
Asp .Net Core 系列:Asp .Net Core 集成 Hangfire+MySQL
简介 https: www.hangfire.io/ 在 .NET 和 .NET Core 应用程序中执行后台处理的简单方法,无需 Windows 服务或单独的进程。 Hangfire 是一个开源的.NET 任务调度框架,它提供了内置集成化的控制台,允许用户直观明了地查看作业调度情况。Han...[2024/3/15]
MYSQL 主从不一致的原因分析
数据库作为存储数据的组件,数据的一致性一定是要保证的前提,今天给出两个场景来分析数据不一致的原因。 binlog同步模式导致主从不一致 在MYSQL 中主库向从库同步数据是利用binlog记录修改操作,然后将binlog传递给从库进行复制,binlog的格式有3种, row 在对updat...[2024/3/15]
用几张图实战讲解MySQL主从复制
本文分享自华为云社区《结合实战,我为MySQL主从复制总结了几张图!》,作者: 冰 河。 MySQL官方文档 MySQL 主从复制官方文档链接地址如下所示: http: dev.mysql.com/doc/refman/8.0/en/replication.html MySQL 主从复制方式...[2024/3/7]
解锁Mysql中的JSON数据类型,怎一个爽字了得
引言 在实际业务开发中,随着业务的变化,数据的复杂性和多样性不断增加。传统的关系型数据库模型在这种情况下会显得受限,因为它们需要预先定义严格的数据模式,并且通常只能存储具有相同结构的数据。而面对非结构化或半结构化数据的存储和处理需求,选择使用非关系型数据库或者创建子表存储这些变化的结构可能会变得...[2024/2/21]
Mysql性能优化这5点你知道吗?简单却容易被初学者忽略!
Mysql性能优化这5点你知道吗?简单却容易被初学者忽略! 文编|JavaBuild 哈喽,大家好呀!我是JavaBuild,以后可以喊我鸟哥,嘿嘿!俺滴座右铭是不在沉默中爆发,就在沉默中灭亡,一起加油学习,珍惜现在来之不易的学习时光,等工作之后,你就会发现,想学习真的需要挤时间,厚积薄发啦...[2024/1/10]
什么是 MySQL JDBC 连接池中最高效的连接检测语句?
在回答这个问题之前,首先我们看看 MySQL 中有哪些常用的 JDBC 连接池: c3p0 DBCP Druid Tomcat JDBC Pool HikariCP 这些连接池中,c3p0 是一个老牌的连接池,很多流行框架,在其老版本中,都将 c3p0 作为默认的连接池。 DBCP 和 ...[2023/12/27]
MySQL 事务的基础知识
事务的基础知识 1. 数据库事务概述 事务是数据库区别于文件系统的重要特性之一,当我们有了事务就会让数据库中的数据始终保持 一致性,同时我们还能通过事务的机制 恢复到某个时间地点的数据,这样可以保证已提交到数据库的修改不会因为系统崩溃而丢失。 1.1 存储引擎的支持情况 查询当前 MySQL ...[2023/12/27]
MySQL 数据目录
MySQL 的数据目录 1. MySQL 的主要目录结构 方式1:通过命令搜索 find / -name mysql 方式2(推荐):通过查看配置文件获取目录结构 vim /etc/my.cnf (重要)- my.cnf 配置信息说明 [mysqld] bind-addre ...[2023/12/27]
MySQL运维15-一主一从读写分离
一、读写分离介绍 读写分离,是把数据库的读和写分开操作,以应对不同的数据库服务器。主数据库提供写操作,从数据库提供读操作,这样能有效的减轻单台数据库的压力。 二、一主一从原理 MySQL的主从复制是基于二进制(binlog)实现的 说明1:当主服务器的MySQL执...[2023/12/26]