greatsql/README.md
2025-05-18 21:55:54 +00:00

22 KiB
Raw Blame History

关于 GreatSQL

GreatSQL 数据库是一款 开源免费 数据库,可在普通硬件上满足金融级应用场景,具有 高可用高性能高兼容高安全 等特性,可作为 MySQL 或 Percona Server for MySQL 的理想可选替换。

最新版本GreatSQL 8.0.32-27。

下载GreatSQL

GreatSQL核心特性

高可用

针对 MGR 及主从复制进行了大量改进和提升工作,支持 地理标签、仲裁节点、读写动态 VIP、快速单主模式、智能选主 等特性,并针对 流控算法、事务认证队列清理算法、节点加入&退出机制、recovery机制 等多个 MGR 底层工作机制算法进行深度优化,进一步提升优化了 MGR 的高可用保障及性能稳定性。

  • 支持 地理标签 特性,提升多机房架构数据可靠性。
  • 支持 仲裁节点 特性,用更低的服务器成本实现更高可用。
  • 支持 读写动态 VIP 特性,高可用切换更便捷,更快实现读负载均衡。支持 当主节点切换时,主动关闭当前活跃连接,缩短应用端不可用时长。。
  • 支持 快速单主模式,在单主模式下更快,性能更高。
  • 支持 智能选主 特性,高可用切换选主机制更合理。
  • 优化 流控算法,使得事务更平稳,避免剧烈抖动。
  • 支持 记录 MGR 网络通信开销超过阈值的事件,用于进一步分析和优化。
  • 支持自动选择从最新事务数据的成员节点复制数据,可有效提升 Clone 速度,提高 MGR 的服务可靠性。
  • 在主从复制中,从节点向主节点发起 Binlog 读取请求时支持限速控制。
  • 优化了 asynchronous connection failover 中的故障检测效率,降低主从复制链路断开的时间,提高整体可用性。
  • 支持在跨机房容灾场景中的 主主双向复制防止回路 机制。
  • 优化了 MGR 节点加入、退出时可能导致性能剧烈抖动的问题。
  • 解决了个别节点上磁盘空间爆满时导致MGR集群整体被阻塞的问题。
  • 优化了 MGR 事务认证队列清理算法,高负载下不复存在每 60 秒性能抖动问题。
  • 解决了 MGR 中长事务造成无法选主的问题。
  • 修复了 MGR recovery 过程中长时间等待的问题。
  • 优化了MGR大事务传输时压缩超过限制的处理机制。

更多信息详见文档:高可用

高性能

相对 MySQL 及 Percona Server For MySQL 的性能表现更稳定优异,支持 Rapid 引擎、Turbo引擎、事务无锁化、并行 LOAD DATA、异步删除大表、线程池、非阻塞式 DDL、NUMA 亲和调度优化 等特性,在 TPC-C 测试中相对 MySQL 性能提升超过 30%,在 TPC-H 测试中的性能表现是 MySQL 的十几倍甚至上百倍

  • 支持 大规模并行、基于内存查询、高压缩比的高性能 Rapid 引擎,可将数据分析性能提升几个数量级。
  • 支持 高性能并行查询引擎Turbo使GreatSQL具备多线程并发的向量化实时查询功能。
  • 优化 InnoDB 事务系统实现了大锁拆分及无锁化等多种优化方案OLTP 场景整体性能提升约 20%。
  • 支持 并行 LOAD DATA,适用于频繁导入大批量数据的应用场景,性能可提升约 20 多倍;对于无显式定义主键的场景亦有优化提升。
  • 支持 异步删除大表,提高 InnoDB 引擎运行时性能的稳定性。
  • 支持 线程池,降低了线程创建和销毁的代价,保证高并发下,性能稳定不会明显衰退。
  • 支持 非阻塞式 DDL,可以避免数据库因为必须尽快完成 DDL 操作而导致业务请求大量被阻塞的问题。
  • 支持 NUMA 亲和性优化,通过 NUMA 亲和性调度优化,将前端用户线程和后台线程绑定到固定 NUMA 节点上以提升线程处理性能。

更多信息详见文档:高性能

高兼容

GreatSQL 实现 100% 完全兼容 MySQL 及 Percona Server For MySQL 语法,支持大多数常见 Oracle 语法,包括 数据类型兼容函数兼容SQL 语法兼容存储程序兼容 等众多兼容扩展用法。

更多信息详见文档:高兼容

高安全

GreatSQL 支持逻辑备份加密、CLONE 备份加密、审计、表空间国密加密、敏感数据脱敏、存储登录历史等多个安全提升特性,进一步保障业务数据安全,更适用于金融级应用场景。

通过上述多个安全提升特性,进一步保障业务数据安全。更多信息详见文档:高安全

其他

安装GreatSQL

安装 jemalloc推荐

运行 GreatSQL 时如果有 jemalloc 支持,则数据库进程的内存分配会更稳定、高效,因此建议安装 jemalloc非必须

如果是ARM环境下可以不必安装配置 jemalloc 依赖。

以 CentOS 8 x86_64 系统为例,采用类似下面的方法安装 jemalloc 软件包:

# 先安装 epel 源
$ yum install -y epel-release

# 再安装jemalloc
$ yum -y install jemalloc jemalloc-devel

也可以把自行安装的动态库so文件路径加到系统配置文件中例如

$ cat /etc/ld.so.conf
/usr/local/lib64/

而后执行下面的操作加载libjemalloc库并确认是否已存在

$ ldconfig

$ ldconfig -p | grep libjemalloc
        libjemalloc.so.1 (libc6,x86-64) => /usr/local/lib64/libjemalloc.so.1
        libjemalloc.so (libc6,x86-64) => /usr/local/lib64/libjemalloc.so

如果无法通过 yum 直接安装 jemalloc可以自行下载 RPM 包,地址:https://centos.pkgs.org/8/epel-x86_64/jemalloc-5.2.1-2.el8.x86_64.rpm.html

安装 GreatSQL

执行下面的命令安装GreatSQL

#首先查找GreatSQL
$ yum search GreatSQL
...
greatsql.src : GreatSQL: a high performance, highly reliable, easy to use, and high security database
greatsql-client.x86_64 : GreatSQL - Client
greatsql-debuginfo.x86_64 : Debug information for package greatsql
greatsql-debugsource.x86_64 : Debug sources for package greatsql
greatsql-devel.x86_64 : GreatSQL - Development header files and libraries
greatsql-icu-data-files.x86_64 : GreatSQL packaging of ICU data files
greatsql-mysql-config.x86_64 : GreatSQL config
greatsql-mysql-router.x86_64 : GreatSQL MySQL Router
greatsql-server.x86_64 : GreatSQL: a high performance, highly reliable, easy to use, and high security database that can be used to replace MySQL or Percona
                        : Server.
greatsql-shared.x86_64 : GreatSQL - Shared libraries
greatsql-test.x86_64 : Test suite for the GreatSQL

#然后安装
$ yum install -y --allowerasing greatsql-client greatsql-devel greatsql-icu-data-files greatsql-server greatsql-shared

安装完成后GreatSQL会自行完成初始化可以再检查是否已加入系统服务或已启动

$ systemctl status mysqld
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
...
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html
  Process: 1137698 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
 Main PID: 1137732 (mysqld)
   Status: "Server is operational"
    Tasks: 39 (limit: 149064)
   Memory: 336.7M
   CGroup: /system.slice/mysqld.service
           └─1137732 /usr/sbin/mysqld
...

就可以正常启动 GreatSQL 服务了。

想要 GreatSQL 更高效运行,建议参考这份 my.cnf 配置模板:my.cnf for GreatSQL

调整文档中关于datadir目录配置等相关选项,默认 datadir=/var/lib/mysql 通常都会改掉,例如替换成 datadir=/data/GreatSQL,修改完后保存退出, 替换原来的 /etc/my.cnf然后重启GreatSQL会重新进行初始化。

# 新建 /data/GreatSQL 空目录,并修改目录所有者
$ mkdir -p /data/GreatSQL
$ chown -R mysql:mysql /data/GreatSQL

# 重启mysqld服务即自行完成重新初始化
$ systemctl restart mysqld

登入GreatSQL

首次登入GreatSQL前需要先找到初始化时随机生成的root密码

$ grep root /data/GreatSQL/error.log
[Note] [MY-010454] [Server] A temporary password is generated for root@localhost: dt_)MtExl594

其中的 dt_)MtExl594 就是初始化时随机生成的密码在登入GreatSQL时输入该密码

$ mysql -uroot -p'dt_)MtExl594'
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 8.0.32-27

Copyright (c) 2021-2021 GreatDB Software Co., Ltd
Copyright (c) 2009-2021 Percona LLC and/or its affiliates
Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> \s
ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.
mysql>

首次登入立刻提醒该密码已过期,需要修改,执行类似下面的命令修改即可:

mysql> ALTER USER USER() IDENTIFIED BY 'GreatSQL-8032~%';
Query OK, 0 rows affected (0.02 sec)

之后就可以用这个新密码再次登入GreatSQL了。

创建新用户、测试库&表,及写入数据

修改完root密码后应尽快创建普通用户用于数据库的日常使用减少超级用户root的使用频率避免误操作意外删除重要数据。

#创建一个新用户GreatSQL只允许从192.168.0.0/16网络连入密码是 GreatSQL-2025
mysql> CREATE USER GreatSQL@'192.168.0.0/16' IDENTIFIED BY 'GreatSQL-2025';
Query OK, 0 rows affected (0.06 sec)

#创建一个新的用户库并对GreatSQL用户授予读写权限
mysql> CREATE DATABASE GreatSQL;
Query OK, 1 row affected (0.03 sec)

mysql> GRANT ALL ON GreatSQL.* TO GreatSQL@'192.168.0.0/16';
Query OK, 0 rows affected (0.03 sec)

切换到普通用户GreatSQL登入创建测试表写入数据

$ mysql -h192.168.1.10 -uGreatSQL -p'GreatSQL-2025'
...
# 切换到GreatSQL数据库下
mysql> use GreatSQL;
Database changed

# 创建新表
mysql> CREATE TABLE t1(id INT PRIMARY KEY);
Query OK, 0 rows affected (0.07 sec)

# 写入测试数据
mysql> INSERT INTO t1 SELECT RAND()*1024;
Query OK, 1 row affected (0.05 sec)
Records: 1  Duplicates: 0  Warnings: 0

# 查询数据
mysql> SELECT * FROM t1;
+-----+
| id  |
+-----+
| 203 |
+-----+
1 row in set (0.00 sec)

成功。

版本历史

戳此查看 GreatSQL 版本历史

QA测试

GreatSQL 8.0.32-27 已经在 openEuler-25.03 环境下通过回归测试,表明 GreatSQL 与 openEuler-25.03 完全兼容,功能齐全,测试完备。

相关回归测试报告详见:openEuler-25.03-GreatSQL测试报告

GreatSQL vs MySQL

1.主要特性 GreatSQL 8.0.32-27 MySQL 8.0.32
开源 ✔️ ✔️
ACID 完整性 ✔️ ✔️
MVCC 特性 ✔️ ✔️
支持行锁 ✔️ ✔️
Crash 自动修复 ✔️ ✔️
表分区Partitioning ✔️ ✔️
视图Views ✔️ ✔️
子查询Subqueries ✔️ ✔️
触发器Triggers ✔️ ✔️
存储程序Stored Programs ✔️ ✔️
外键Foreign Keys ✔️ ✔️
窗口函数Window Functions ✔️ ✔️
通用表表达式 CTE ✔️ ✔️
地理信息GIS ✔️ ✔️
基于 GTID 的复制 ✔️ ✔️
组复制MGR ✔️ ✔️
MyRocks 引擎 ✔️
支持龙芯架构 ✔️
2. 性能提升扩展 GreatSQL 8.0.32-27 MySQL 8.0.32
Rapid 引擎 ✔️ 仅云上HeatWave
Turbo 引擎 ✔️
NUMA 亲和性优化 ✔️
非阻塞式 DDL ✔️
无主键表导入优化 ✔️
InnoDB 并行查询 ✔️ 仅主键扫描
并行 LOAD DATA ✔️
InnoDB 事务 ReadView 无锁优化 ✔️
InnoDB 事务大锁拆分优化 ✔️
InnoDB page压缩支持zstd ✔️
InnoDB 资源组 ✔️ ✔️
自定义 InnoDB 页大小 ✔️ ✔️
Contention-Aware Transaction Scheduling ✔️ ✔️
InnoDB Mutexes 拆分优化 ✔️
MEMORY 引擎优化 ✔️
InnoDB Flushing 优化 ✔️
并行 Doublewrite Buffer ✔️ ✔️
InnoDB 快速索引创建优化 ✔️
VARCHAR/BLOB/JSON 类型存储单列压缩 ✔️
数据字典中存储单列压缩信息 ✔️
3. 面向开发者提升改进 GreatSQL 8.0.32-27 MySQL 8.0.32
X API ✔️ ✔️
JSON ✔️ ✔️
NoSQL Socket-Level接口 ✔️ ✔️
InnoDB 全文搜索改进 ✔️
更多 Hash/Digest 函数 ✔️
Oracle 兼容-数据类型 ✔️
Oracle 兼容-函数 ✔️
Oracle 兼容-SQL语法 ✔️
Oracle 兼容-存储程序 ✔️
4. 基础特性提升改进 GreatSQL 8.0.32-27 MySQL 8.0.32
MGR 提升-地理标签 ✔️
MGR 提升-仲裁节点 ✔️
MGR 提升-读写节点绑定VIP ✔️
MGR 提升-快速单主模式 ✔️
MGR 提升-智能选主机制 ✔️
MGR 提升-全新流控算法 ✔️
MGR 提升-网络分区异常处理 ✔️
MGR 提升-节点异常退出处理 ✔️
MGR 提升-节点磁盘满处理 ✔️
MGR 提升-自动选择 donor 节点 ✔️
MGR 提升-大事务压缩优化 ✔️
Clone 增量备份 ✔️
Clone 备份压缩 ✔️
Binlog 读取限速 ✔️
information_schema 表数量 95 65
全局性能和状态指标 853 434
优化器直方图Histograms ✔️ ✔️
Per-Table 性能指标 ✔️
Per-Index 性能指标 ✔️
Per-User 性能指标 ✔️
Per-Client 性能指标 ✔️
Per-Thread 性能指标 ✔️
全局查询相应耗时统计 ✔️
SHOW INNODB ENGINE STATUS 增强 ✔️
回滚段信息增强 ✔️
临时表信息增强 ✔️
用户统计信息增强 ✔️
Slow log 信息增强 ✔️
5.安全性提升 GreatSQL 8.0.32-27 MySQL 8.0.32
国密支持 ✔️
备份加密 ✔️
审计 ✔️ 仅企业版
数据脱敏 ✔️
最后登录记录 ✔️
SQL Roles ✔️ ✔️
SHA-2 密码Hashing ✔️ ✔️
密码轮换策略 ✔️ ✔️
PAM 认证插件 ✔️ 仅企业版
Keyring 存储在文件中 ✔️ ✔️
Keyring 存储在Hashicorp Vault中 ✔️ 仅企业版
InnoDB 数据加密 ✔️ ✔️
InnoDB 日志加密 ✔️ ✔️
InnoDB 各种表空间文件加密 ✔️ ✔️
二进制日志加密 ✔️
临时文件加密 ✔️
强制加密 ✔️
6. 运维便利性提升 GreatSQL 8.0.32-27 MySQL 8.0.32
DDL 原子性 ✔️ ✔️
数据字典存储 InnoDB 表 ✔️ ✔️
快速 DDL ✔️ ✔️
SET PERSIST ✔️ ✔️
不可见索引 ✔️ ✔️
线程池Threadpool ✔️ 仅企业版
备份锁 ✔️
SHOW GRANTS 扩展 ✔️
表损坏动作扩展 ✔️
杀掉不活跃事务 ✔️
START TRANSACTION WITH CONSISTENT SNAPSHOT 扩展 ✔️

GreatSQL 8.0.32-27 基于 Percona Server for MySQL 8.0.32 版本,它在 MySQL 8.0.32 基础上做了大量的改进和提升以及众多新特性,详情请见:Percona Server for MySQL feature comparison,这其中包括线程池、审计、数据脱敏等 MySQL 企业版才有的特性,以及 performance_schema 提升、information_schema 提升、性能和可扩展性提升、用户统计增强、PROCESSLIST 增强、Slow Log 增强等大量改进和提升,这里不一一重复列出。

GreatSQL同时也是gitee码云平台上的GVP项目详见https://gitee.com/gvp/database-related 数据库相关类目。

许可/Licensing

GreatSQL 致力于保持开源的开放性。GreatSQL 采用 GPLv2 协议。

温馨提示

如果您在使用 GreatSQL请告诉我们将有机会获得精美礼品和免费技术支持

问题反馈


联系我们


扫码关注微信公众号

输入图片说明