数据平台的思考与探索: 基于Flink+ClickHouse+Kyligence的实时大数据平台

之前大数据遇到的最大挑战在于数据规模大,经过工业界多年的努力和实践,规模大这个问题基本已经解决了。接下来几年,更大的挑战在于速度,也就是实时性。在这次分享中,我为大家带来了世界上最好用的实时流计算引擎:Flink、世界上最快的开源OLAP引擎:ClickHouse、世界上最强大商用的CUBE引擎:Kyligence,以及我们是如何基于这些强大的产品,搭建适合自己的实时大数据平台...…

Kyligence VS ClickHouse (单表13亿数据)

初识ClickHouse的时候,我曾产生这样的感觉:它仿佛违背了物理定律,没有任何缺点,是一个不真实的存在。一款高性能、高可用OLAP数据库的一切诉求,ClickHouse似乎都能满足,这股神秘的气息引起了我极大的好奇。 Clickhouse采用了很多先进的算法、还有列式存储与数据压缩、向量化执行引擎(寄存器硬件层面的特性),一度让我觉得这款OLAP 数据库能打败 Kyligence(商业版的Kylin),为了证明心中的猜想,我花了一两周的空闲时间对这两款数据库做了性能对比…

TIDB 集群无感知扩缩容

TiDB 集群可以在不影响线上服务的情况下动态进行扩容和缩容。 动态添加一个新的 TiKV 服务非常容易,只需要在新的机器上启动一个 TiKV 服务,不需要其他特殊操作。 新启动的 TiKV 服务会自动注册到现有集群的 PD 中,PD 会自动做负载均衡,逐步地把一部分数据迁移到新的TiKV 服务中,从而降低现有 TiKV 服务的压力。 安全地删除(下线)一个 TiKV 服务需要先告诉 PD,这样 PD 可以先把这个 TiKV 服务上面的数据迁移到其他 TiKV 服务上,保证数据有足够的副本数。 TiDB 是一个无状态的服务,这也就意味着我们能直接添加和删除 TiDB。…

TIDB 集群升级(3.0.0 -> 3.0.1)

1.使用更加经济的方式部署测试用 TIDB 集群 2.升级 TIDB v3.0 -> TIDB V3.1 前的准备工作 3.使用 ansbile-playbook rolling_update.yml 升级集群 4.查看端口、访问数据库、浏览监控页面来验证升级是否成功…

TIDB 集群部署详细步骤

1. 准备 8台+ 服务器。8核,16G RAM,100G SSD ROM(At least) 2. 选取主控机, 并做些简单的配置 3.安装 TIDB 依赖工具 4.通过 tidb-ansible 为所有服务器添加用户和密钥 5. 配置 TIDB 拓扑结构(分配服务器资源) 6. 启动 TIDB 集群…

Linux 下使用 Go 调用 SAP RFC

1.安装配置 Golang 环境 1.1.获取 golang 安装包 1.2.源码安装 1.3.设置 golang 路径 2.配置 SAP SDK 依赖 2.1.克隆一个项目,项目中有 SAP SDK 依赖运行的 lib 包 2.2.创建 SAP SDK 系统目录 2.3.设置 SAP SDK 环境变量 2.4.复制刚才克隆下来的项目中的部分文件到 SAP SDK 系统目录中 2.5.创建系统静态资源链接库的配置文件 2.6.手动刷新系统静态资源链接库信息 3.测试 SAP RFC 是否可以连接…

科学上网不完全指南

1. 买台服务器(推荐香港的) 2. 配置服务器的端口 3. 远程到服务器,配置科学上网服务所需环境 4. 启动 shadowsocks server 5. 本地下载 shadowsocks client 6. 配置本地的 shadowsocks client 7. 测试本地 shadowsocks…

通识读物(21篇)

这21篇甄选自考研英语一(1995~2018)和英语二(2011~2018)中的完形填空、阅读理解、翻译和新题型的225篇文章,这些文章来源于多家国外知名杂志,包括:《经济学人》、《时代周刊》、《新闻周刊》、《科学美国人》、《商业周刊》、《纽约时报》、《卫报》、《自然杂志》等等。…

MY 2018

2018年初我在思考 ‘人是应做何事为佳,还是想做何事为佳’,时间告诉我答案 ‘哪有那么多“应做”和“想做”,事情来了就迎头顶上,有想法就去实现,做事的人要有做事的样子...’ 。对,我不喜欢现在的状态,我不想继续像朝九晚五一样‘安逸’的生活,我有自己的梦想,无论这个梦想被世俗的生活挤得有多远,但它一直都在🙂 2018年1月15号,我决定辞去现在的职务,去潜心修行,去充实自己,去遵循自己的内心。在和 BOSS…