ClickHouse 详细集群部署方案_桂成林的博客-CSDN博客_clickhouse cluster local 知识图谱

ClickHouse 详细集群部署方案_桂成林的博客-CSDN博客_clickhouse cluster local

本站和网页 https://blog.csdn.net/guichenglin/article/details/104286640 的作者无关，不对其内容负责。快照谨为网络故障时之索引，不代表被搜索网站的即时页面。

ClickHouse 详细集群部署方案_桂成林的博客-CSDN博客_clickhouse cluster local
ClickHouse 详细集群部署方案
桂成林
于 2020-02-12 21:05:27 发布
8025
收藏
20
分类专栏：
OLAP
Clickhouse
文章标签：
clickhouse
OLAP
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/guichenglin/article/details/104286640
版权
OLAP
同时被 2 个专栏收录
5 篇文章
0 订阅
订阅专栏
Clickhouse
2 篇文章
0 订阅
订阅专栏
基本介绍：
ClickHouse 来自俄罗斯最大的搜索公司Yandex，配置文件中可以看到Yandex的样子，于2016年开源。 ClickHouse是面向OLAP的分布式列式DBMS，OLAP（在线联机分析）性能优秀，市场反应非常强烈。面向列的数据库更适合于OLAP方案（大量查询场景，处理速度至少提升100倍），高逼格的ClickHouse在SSD上性能表现更佳。
官网地址：https://clickhouse.tech
源码地址：https://github.com/ClickHouse/ClickHouse
主要特性：
真正的面向列的DBMS实时数据更新SQL语法支持多核并行处理数据高效压缩分布式处理数据复制完整性丰富的索引集群式管理可直接读取MySQL数据适合于在线实时查询支持近似预估计算
目前缺点：
不支持二级索引不支持事物缺乏全面的UPDATE|DELETE的实现
应用场景：
海量数据分析、报表和监控
环境配置描述：
服务器：CentOS Linux release 7.4.1708 (Core) * 3台
安装依赖：
yum install -y curl pygpgme yum-utils coreutils epel-release
Yum安装：
yum install clickhouse-server clickhouse-client clickhouse-server-common clickhouse-compressor
验证是否已经安装：
yum list installed 'clickhouse*'
Installed Packages
clickhouse-client.x86_64 19.17.4.11-1.el7 @Altinity_clickhouse
clickhouse-common-static.x86_64 19.17.4.11-1.el7 @Altinity_clickhouse
clickhouse-compressor.x86_64 1.1.54336-3.el7 @Altinity_clickhouse
clickhouse-server.x86_64 19.17.4.11-1.el7 @Altinity_clickhouse
clickhouse-server-common.x86_64 19.17.4.11-1.el7 @Altinity_clickhouse
运行clickhouse-server：
/etc/init.d/clickhouse-server restart
添加用户：
useradd clickhouse
免密登陆
chmod 755 ~/.ssh
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
vi /etc/ssh/sshd_config PubkeyAuthentication yes
service sshd restart $ ssh-copy-id -i ~/.ssh/id_rsa.pub root@xxxx
连接clickhouse-server：
clickhouse-client
ClickHouse client version 19.17.4.11.
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 19.17.4 revision 54428.
127.0.0.1 :)
创建相关文件和目录：
cd /usr/local/clickhouse
> config.xml
> metrika.xml
> users.xml
mkdir cores
mkdir data
mkdir flags
mkdir log
mkdir metadata
mkdir status
mkdir tmp
mkdir format_schemas
/usr/local/clickhouse tree
├── config.xml
├── cores
├── data
├── flags
├── format_schemas
├── log
├── metadata
├── metrika.xml
├── status
├── tmp
└── users.xml
配置 config.xml：
<?xml version="1.0"?>
<yandex>
<logger>
<level>trace</level>
<log>/usr/local/clickhouse/log/server.log</log>
<errorlog>/usr/local/clickhouse/log/error.log</errorlog>
<size>1000M</size>
<count>10</count>
</logger>
<http_port>8123</http_port>
<tcp_port>9000</tcp_port>
<interserver_http_port>9009</interserver_http_port>
<listen_host>0.0.0.0</listen_host>
<path>/usr/local/clickhouse/data/clickhouse/</path>
<tmp_path>/usr/local/clickhouse/data/clickhouse/tmp/</tmp_path>
<users_config>users.xml</users_config>
<default_profile>default</default_profile>
<default_database>default</default_database>
<remote_servers incl="clickhouse_remote_servers" />
<zookeeper incl="zookeeper-servers" optional="true" />
<macros incl="macros" optional="true" />
<include_from>/etc/clickhouse-server/metrika.xml</include_from>
<mark_cache_size>5368709120</mark_cache_size>
</yandex>
配置 metrika.xml：
<yandex>
<clickhouse_remote_servers>
<report_shards_replicas>
<shard>
<weight>1</weight>
<internal_replication>false</internal_replication>
<replica>
<host>192.168.1.1</host>
<port>9000</port>
<user>default</user>
<password>6lYaUiFi</password>
</replica>
<replica>
<host>192.168.1.2</host>
<port>9000</port>
<user>default</user>
<password>6lYaUiFi</password>
</replica>
</shard>
<shard>
<weight>1</weight>
<internal_replication>false</internal_replication>
<replica>
<host>192.168.1.2</host>
<port>9000</port>
<user>default</user>
<password>6lYaUiFi</password>
</replica>
<replica>
<host>192.168.1.3</host>
<port>9000</port>
<user>default</user>
<password>6lYaUiFi</password>
</replica>
</shard>
<shard>
<weight>1</weight>
<internal_replication>false</internal_replication>
<replica>
<host>192.168.1.3</host>
<port>9000</port>
<user>default</user>
<password>6lYaUiFi</password>
</replica>
<replica>
<host>192.168.1.1</host>
<port>9000</port>
<user>default</user>
<password>6lYaUiFi</password>
</replica>
</shard>
</report_shards_replicas>
</clickhouse_remote_servers>
<macros>
<replica>192.168.1.1</replica>
</macros>
<networks>
<ip>::/0</ip>
</networks>
<zookeeper-servers>
<node index="1">
<host>192.168.1.1</host>
<port>2181</port>
</node>
<node index="2">
<host>192.168.1.2</host>
<port>2181</port>
</node>
<node index="3">
<host>192.168.1.3</host>
<port>2181</port>
</node>
</zookeeper-servers>
<clickhouse_compression>
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>lz4</method>
</case>
</clickhouse_compression>
</yandex>
配置 users.xml：
<?xml version="1.0"?>
<yandex>
<profiles>

<default>
<max_memory_usage>10000000000</max_memory_usage>
<use_uncompressed_cache>0</use_uncompressed_cache>
<load_balancing>random</load_balancing>
</default>

<readonly>
<max_memory_usage>10000000000</max_memory_usage>
<use_uncompressed_cache>0</use_uncompressed_cache>
<load_balancing>random</load_balancing>
<readonly>1</readonly>
</readonly>
</profiles>

<quotas>

<default>
<interval>
<duration>3600</duration>
<queries>0</queries>
<errors>0</errors>
<result_rows>0</result_rows>
<read_rows>0</read_rows>
<execution_time>0</execution_time>
</interval>
</default>
</quotas>
<users>

<default>
<password_sha256_hex>967f3bf355dddfabfca1c9f5cab39352b2ec1cd0b05f9e1e6b8f629705fe7d6e</password_sha256_hex>
<networks incl="networks" replace="replace">
<ip>::/0</ip>
</networks>
<profile>default</profile>
<quota>default</quota>
</default>

<ck>
<password_sha256_hex>967f3bf355dddfabfca1c9f5cab39352b2ec1cd0b05f9e1e6b8f629705fe7d6e</password_sha256_hex>
<networks incl="networks" replace="replace">
<ip>::/0</ip>
</networks>
<profile>readonly</profile>
<quota>default</quota>
</ck>
</users>
</yandex>
启动服务：
/etc/init.d/clickhouse-server start
查看集群：
clickhouse-client --host=192.168.1.1 --port=9000 --user=default --password=6lYaUiFi
select * from system.clusters;
┌─cluster────────────────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name───┬─host_address─┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─estimated_recovery_time─┐
│ report_shards_replicas │ 1 │ 1 │ 1 │ 192.168.1.1 │ 192.168.1.1 │ 9000 │ 1 │ default │ │ 0 │ 0 │
│ report_shards_replicas │ 1 │ 1 │ 2 │ 192.168.1.2 │ 192.168.1.2 │ 9000 │ 0 │ default │ │ 0 │ 0 │
│ report_shards_replicas │ 2 │ 1 │ 1 │ 192.168.1.2 │ 192.168.1.2 │ 9000 │ 0 │ default │ │ 0 │ 0 │
│ report_shards_replicas │ 2 │ 1 │ 2 │ 192.168.1.3 │ 192.168.1.3 │ 9000 │ 0 │ default │ │ 0 │ 0 │
│ report_shards_replicas │ 3 │ 1 │ 1 │ 192.168.1.3 │ 192.168.1.3 │ 9000 │ 0 │ default │ │ 0 │ 0 │
│ report_shards_replicas │ 3 │ 1 │ 2 │ 192.168.1.1 │ 192.168.1.1 │ 9000 │ 1 │ default │ │ 0 │ 0 │
└─────────────────────── ┴───────────┴──────────────┴─────────────┴─────────────┴──────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────────────┘
6 rows in set. Elapsed: 0.002 sec.
创建本地表，创建Distributed表。3台机器上都要创建，DDL不同步：
CREATE TABLE ck_local (UnixDate Date,Year UInt16) ENGINE = MergeTree(UnixDate, (Year, UnixDate), 8192);
CREATE TABLE ck_all AS ck_local ENGINE = Distributed(report_shards_replicas, default, ck_local, rand());
插入数据：
insert into ck_all (UnixDate,Year)values('2010-03-20',2010);
insert into ck_all (UnixDate,Year)values('2011-03-20',2011);
insert into ck_all (UnixDate,Year)values('2012-03-20',2012);
该文章公众号：“sir小龙虾”独家授权，其他人未经允许不得转载。
桂成林
关注
关注
点赞
20
收藏
打赏
评论
ClickHouse 详细集群部署方案
安装依赖：yuminstall-y curl pygpgme yum-utils coreutils epel-releaseYum安装：yum install clickhouse-server clickhouse-client clickhouse-server-common clickhouse-compressor验证是否已经安装：yum list ins...
复制链接
扫一扫
专栏目录
clickhouse集群部署说明-ck集群
04-17
clickhouse集群部署说明-ck集群，clickhouse 集群部署以及建表语句，分布式
clickhouse集群配置.zip
12-26
clickhouse集群配置，host配置文件，以供参照官方文档配置时候的参考,以便于快速的搭建出集群，便于使用
评论 4
您还未登录，请先
登录
后发表或查看评论
clickhouse-operator：ClickHouse Operator创建，配置和管理在Kubernetes上运行的ClickHouse集群
02-03
ClickHouse操作员
ClickHouse Operator创建，配置和管理在Kubernetes上运行的ClickHouse集群。
产品特点
Kubernetes的ClickHouse运营商目前提供以下内容：
根据提供的“自定义资源” 创建ClickHouse集群
定制的存储配置（VolumeClaim模板）
定制的Pod模板
端点的定制服务模板
ClickHouse配置和设置（包括Zookeeper集成）
灵活的模板
ClickHouse群集扩展，包括自动模式传播
ClickHouse版本升级
将ClickHouse指标导出到Prometheus
要求
Kubernetes 1.15.11+
文献资料
进阶设定
维护任务
监控方式
如何贡献
所有文件
执照
Altinity Ltd和/或其附属公司（c）2019-2020版权所有。版权所有。
clickhouse-operator已获得Apache许可证2.0的许可。
有关更多详细信息，请参见。
一文搞定clickhouse集群安装部署
mo
07-31
612
clickhouse安装部署教程部署前准备工作1.关闭防火墙2.取消打开文件数和进程数限制3.安装依赖4.关闭selinux
部署前准备工作
1.关闭防火墙
关闭防火墙：systemctl stop firewalld.service
查看防火墙：systemctl status firewalld.service
2.取消打开文件数和进程数限制
先看一下系统默认的文件数和进程数分别为1024和4096，因为Clickhouse是特备耗CPU性能的,在查询的过程中可能会遇到进程数增加等情况，所以我们先把文件
Clickhouse安装部署
最新发布
mnasd的博客
11-02
304
Atomic 中的所有表都有持久的 UUID，数据存储在/clickhouse_path/store/xxx/xxxyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy/ 路径下。执行DROP TABLE 命令，不会删除任何数据，Atomic 数据库只是通过将元数据移动到 /clickhouse_path/metadata_dropped/，并将表标记为已删除，并通知 DatabaseCatalog。指令集，因此，除非另有说明，支持它的CPU使用将成为额外的系统需求。
clickhouse集群部署
kfyzjd2008的博客
01-11
4313
一、安装clickhouse
按照官网RPM安装包安装步骤：
sudo yum install yum-utils
sudo rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.com/rpm/stable/x86_64
然后运行命令安装：
sudo yum install clickhouse-server
ClickHouse集群搭建部署
u013332124的专栏
01-27
9011
文章目录一、单机版安装和启停二、集群部署搭建1、手动搭建clickhouse集群2、使用docker-compose快速搭建clickhouse集群三、集群扩容如何保证扩容后的数据均匀分布？四、集群缩容docker-compose 中的一些文件
一、单机版安装和启停
单机版的安装相对简单，官网介绍了好几种办法：
https://clickhouse.com/docs/zh/getting-started/install/
这里提一下tgz安装包的方式，目前官网的文档有点问题(不知道将来会不会更新)。从21
ClickHouse集群多实例部署
FaN()
05-03
8488
ClickHouse多实例部署
本人刚接触ClickHouse两周, 难免有错误之处, 感谢指正. 另外一些参数我也不甚理解, 大家也可以先不必纠结参数, 先部署起来再说, 我的感触是部署后就会对整体结构有了一遍认识. 如果多实例都可以部署完毕, 那么生产单实例部署当然就不成问题了.
生产环境并不建议多实例部署, ClickHouse一个查询可以用到多个CPU, 本例只适用于测试环境
部署规划
...
clickhouse集群部署步骤（包括部分问题解决方法）
m0_67550015的博客
07-24
3272
clickhouse集群部署（三台机器）
ClickHouse安装部署【非常详细】
热门推荐
不才伟才的博客
01-07
1万+
本文非常详细地记录了clickhouse安装部署的过程，仅供参考~
clickhouse集群搭建详细步骤
dnice的博客
04-29
7395
搭建说明
Clickhouse集群依赖Zookeeper集群。因此需要先搭建zk集群。
请先参考【记录】zookeeper集群搭建详细步骤完成zookeeper集群搭建。
如果zookeeper集群已成功搭建完成，下面开始搭建Clickhouse集群。
需要环境：
实例1
实例2
实例3
IP
192.168.11.11
192.168.11.12
192.168.11.13
OS
centos7.9
centos7.9
centos7.9
zk
zookeeper-3.8.0
大数据之clickhouse安装部署
大数据同盟会的博客
05-15
1889
一、clickhouse简介
优点：
缺点：
Clickhouse集群通过jdbc连接
A0ZBC的博客
09-29
2784
CK集群jdbc连接方式jdbc url的定义jdbc url的解析获取到连接连接后执行操作
jdbc url的定义
多个地址使用逗号隔开
String jdbcUrl = "jdbc:clickhouse://{ip1:port},{ip2:port},..."
jdbc url的解析获取到连接
不管是官方的驱动包
import ru.yandex.clickhouse.BalancedClickhouseDataSource;
还是官方支持的第三方包
import com.github.housep
Clickhouse集群安装部署
HiterCoder
03-01
838
相关知识参考：https://www.cnblogs.com/jmx-bigdata/p/13708835.html
1、Clickhouse集群安装部署，首先安装单机版，可参考之前：https://www.cnblogs.com/biehongli/p/14364802.html，我是先安装了一台虚拟机，然后克隆了两台机器，所以，克隆完成，配置好ip地址，三台服务器的Clickhouse就安装...
Clickhouse分布式部署
Alex_Sheng_Sea的博客
08-10
813
9001 cm agent 端口号 9003
9010 zookeeper jmx 9011
info warning
#### 0.添加hosts
-----------------------
#### 1.创建目录
---------------
centos-1 创建目录：
mkdir -p /data1/clickhouse/{node1,node4}/{data,tmp,logs}
centos-2 创建目录：
mkdir -p /data1/...
Clickhouse集群
weixin_43320617的博客
06-29
1583
一、Clickhouse集群搭建
集群规划搭建2节点2分片2副本。
1、各个节点安装单机
安装
#安装依赖及添加源
sudo yum install yum-utils
sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64
#默认安装最新版本
sudo yum ins
ClickHouse集群部署
长臂人猿的博客
05-31
478
目录
1. 环境数据
2. Tgz包准备
2.1. 查看系统版本信息
2.2. 下载相关安装包
2.3. 创建相关目录
2.4. 中转Jar包
2.5. 创建clickHouse目录
3. 解压安装
3.1. 解压
3.2. 安装
4. 配置文件修改
4.1. clickhouse-server
4.1.1. config.xml
5. 启动单节点
5.1. 启动clickhouse-server
5.1.1. 报错
5.1.2. 解决
5.2. 验证clickHouse是
Clickhouse分布式集群搭建
大数据研习社
07-27
750
这种方法更为安全，它可以把使用这些环境变量的权限控制到用户级别,这里是针对某一个特定的用户，如果你需要给某个用户权限使用这些环境变量，你只需要修改其个人用户主目录下的.bashrc文件就可以了。这里是针对所有的用户的,所有的shell。Zookeeper最小集群是3节点集群，生产环境中100节点以下集群3个Zookeeper节点就够用，500节点以下集群5节点就够用。可以到官网下载对应版本的jdk，这里选择安装jdk1.8版本，并上传至/home/hadoop/app目录下。...
ClickHouse集群模式总结
chensonga的专栏
01-12
2891
ClickHouse 集群模式分类
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
桂成林
CSDN认证博客专家
CSDN认证企业博客
码龄15年
安全公司
172
原创
2万+
周排名
66万+
总排名
36万+
访问
等级
5448
积分
383
粉丝
55
获赞
10
评论
126
收藏
私信
关注
热门文章
nginx proxy_pass末尾神奇的/
29396
AES_ENCRYPT() 和 AES_DECRYPT()
18774
Yum出错Error: Cannot find a valid baseurl for repo: addons
17824
【转】转 Linux调优方案，sysctl.conf的设置
14771
安装MySQL-python报错 error: command 'gcc' failed with exit status 1解决方法
12778
分类专栏
Kafka
1篇
Hive
2篇
nginx
1篇
OLAP
5篇
Clickhouse
2篇
golang
17篇
PHP
38篇
C++
60篇
Linux
67篇
MySql
13篇
search
5篇
JavaScript
10篇
JQuery
3篇
windows
1篇
哲理故事
2篇
常用算法
2篇
IT那些事
2篇
Java
6篇
数据
1篇
druid
4篇
网络编程
1篇
最新评论
Cmake出现CMake Error: Could not find CMAKE_ROOT
尘世伴读小书童:
牛逼，真好了，这是啥意思？
ClickHouse 详细集群部署方案
ha_lydms:
学习到了。很好的文章，欢迎回访。
ClickHouse 详细集群部署方案
liushuo9999:
因为每个机器是两个分片的副本 internal_replication这个配置又会同时写入某个节点所有副本所以一插就是两条
nginx proxy_pass末尾神奇的/
黛池画雾:
写的什么玩意, otherserver怎么到neverstay.com了?
ClickHouse 详细集群部署方案
橙子:
这样配置数据是会重复的，数据会从三个分片中读取一个副本，可能会读到同一个节点上的副本
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Kafka bootstrap.servers
HIVE UDF MD5
Centos7 WARNING: ‘aclocal-1.15‘ is missing on your system.
2022年2篇
2021年6篇
2020年24篇
2019年3篇
2018年2篇
2017年3篇
2016年3篇
2015年1篇
2014年3篇
2013年10篇
2012年59篇
2011年6篇
2010年61篇
2009年29篇
目录
目录
分类专栏
Kafka
1篇
Hive
2篇
nginx
1篇
OLAP
5篇
Clickhouse
2篇
golang
17篇
PHP
38篇
C++
60篇
Linux
67篇
MySql
13篇
search
5篇
JavaScript
10篇
JQuery
3篇
windows
1篇
哲理故事
2篇
常用算法
2篇
IT那些事
2篇
Java
6篇
数据
1篇
druid
4篇
网络编程
1篇
目录
评论 4
被折叠的条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
桂成林
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值