我们的大数据技术栈:Kylin、Flink、ClickHouse、DataLake...

过去的两年里,我们探索了非常多好用的大数据处理技术:基于多维CUBE的Kylin、实时流处理的Flink、高性能OLAP数据库的ClickHouse,还有一些ETL工具的应用、以及云上数据湖的落地。这些技术的使用,为我们带来了很多商业价值和业务想象力。本次分享,主要是对过去的一个总结,为下一步要做的事,理清思路。…

数据平台的思考与探索: 基于Flink+ClickHouse+Kyligence的实时大数据平台

之前大数据遇到的最大挑战在于数据规模大,经过工业界多年的努力和实践,规模大这个问题基本已经解决了。接下来几年,更大的挑战在于速度,也就是实时性。在这次分享中,我为大家带来了世界上最好用的实时流计算引擎:Flink、世界上最快的开源OLAP引擎:ClickHouse、世界上最强大商用的CUBE引擎:Kyligence,以及我们是如何基于这些强大的产品,搭建适合自己的实时大数据平台...…