数据平台的思考与探索: 基于Flink+ClickHouse+Kyligence的实时大数据平台

之前大数据遇到的最大挑战在于数据规模大,经过工业界多年的努力和实践,规模大这个问题基本已经解决了。接下来几年,更大的挑战在于速度,也就是实时性。在这次分享中,我为大家带来了世界上最好用的实时流计算引擎:Flink、世界上最快的开源OLAP引擎:ClickHouse、世界上最强大商用的CUBE引擎:Kyligence,以及我们是如何基于这些强大的产品,搭建适合自己的实时大数据平台...…

Kyligence VS ClickHouse (单表13亿数据)

初识ClickHouse的时候,我曾产生这样的感觉:它仿佛违背了物理定律,没有任何缺点,是一个不真实的存在。一款高性能、高可用OLAP数据库的一切诉求,ClickHouse似乎都能满足,这股神秘的气息引起了我极大的好奇。 Clickhouse采用了很多先进的算法、还有列式存储与数据压缩、向量化执行引擎(寄存器硬件层面的特性),一度让我觉得这款OLAP 数据库能打败 Kyligence(商业版的Kylin),为了证明心中的猜想,我花了一两周的空闲时间对这两款数据库做了性能对比…