一、问题背景​ 之前线上和线下测试环境数据库仅允许为MyISAM和InnoDB引擎存在，但本次数据迁移中存在tokuDB引擎的库，一直使用percona提供的xtrabackup每天进行数据备份，innobackup自动恢复数据。但由于该情况并不支持tokuDB引擎的备份，故本次数据迁移...

一、ReplacingMergeTree作用​ ClickHouse中最常用也是最基础的表引擎为MergeTree，在它的功能基础上添加特定功能就构成了MergeTree系列引擎。MergeTree支持主键，但主键主要用来缩小查询范围，且不具备唯一性约束，可以正常写入相同主键的数据。但在...

一、数据TTL​ TTL(Time to Live)，表示数据的存活时间。在MergeTree中，可以为某个列字段或整张表设置TTL时间。若为列字段的TTL，当时间到期时，则会删除这一列的数据；若为表级别的TTL，当时间到期时，则会删除整张表的数据；若一张表同时设置了列级别和表级别的TT...

一、数据标记文件的作用​ 在MergeTree中，保存数据的物理文件包括索引文件primary.idx、column.bin数据文件和column.mrk数据标记文件(若使用了自适应大小的索引间隔，则标记文件会为column.mrk2)，这三种文件帮助人们快速找到需要的数据。如果把Mer...

一、按列存储​ 在MergeTree中，数据按列存储，每个字段也独立单独存储，每个列字段均拥有一个对应的column.bin数据文件，这些数据文件便为数据的物理存储。数据文件以分区目录的形式被组织存放，所以每个分区目录中的bin文件只保存了当前分区片段内的该列数据。按列独立存储有利于更好...

​ ClickHouse作为一个DBMS，提供了DDL和DML的功能，并支持部分标准的SQL语法。但ClickHouse在基础数据方面，既提供了常规的数据类型、字符串类型格式，又提供了一些常用的复合类型(数组、元组等)，并且与常规的数据库，在DML的使用上也存在不同(例如：UPDATE和...

一、一级索引​ MergeTree的主键使用PRIMARY KEY来定义，MergeTree会根据index_granularity间隔(默认8192行)，为数据表生成一级索引并保存到primary.idx文件里，索引数据会按照PRIMARY KEY排序，所以，ClickHouse中经常...

​ 从ClickHouse存储引擎之MergeTree引擎——概述中可以知道，在MergeTree存储引擎中，数据是以分区目录的形式存放的。基于该原理，在进行数据查询时，可以仅查询最小的分区目录。 一、MergeTree数据分区规则1、测试示例​ 下面仍然使用上一篇的测试数据来继续...

一、MergeTree系列引擎概述​ 在ClickHouse中，存储引擎决定了一张表拥有哪些特性以及读写数据的方式等。在所有的存储引擎中，MergeTree及其*MergeTree系列是最强大的表引擎，它适用于一些高负载任务，可以快速插入数据并在后台进行数据处理，还支持了主键索引、分区、...

一、介绍​ ClickHouse提供了MySQL库引擎可以将MySQL中的表映射到ClickHouse中，并允许用户通过clickhouse对数据进行insert和update操作。实际的操作其实都在MySQL服务器上完成，MySQL引擎会将查询转换为MySQL语法并发送到MySQL服务...