大数据方案设计

 

debezium   可以轻松将 mysql,mongodb等数据库,增量同步到kafka中

kafka         一个重要的流平台

doris         非常适合的olap数据分析库,使用mysql的标准接口就可以访问

Doris 的目标是:实现低成本(主要针对商业产品),可线性扩展,支持云化部署,高可用,高查询性能,高加载性能。

clickhouse   单机强

es             搜索引擎,目前用在单应用分析上

 

使用debezium同步数据,使用kafka的消费生产用户需要的表,将表同步到doris中提供用户的分析需求

若宽表数据发生结构变换,需要对doris进行调整,这时候可以考虑重建doris的同步任务。    doris用来替代mysql。

https://cloud.tencent.com/developer/article/1506780  大数据需要一个OLAP

https://www.apache.org/dyn/closer.cgi?path=/incubator/doris/0.12.0-incubating/apache-doris-0.12.0-incubating-src.tar.gz   doris下载

http://doris.incubator.apache.org/master/zh-CN/administrator-guide/load-data/routine-load-manual.html  doris手册

https://zhuanlan.zhihu.com/p/128068950   doris实践案例

https://www.jianshu.com/p/d3742af8ecce  doris介绍

Leave a Reply

Your email address will not be published. Required fields are marked *