工具

vmware15 Linux centos7.5 HadhooP3.2.1 Hive3.1.2 SPRingBoot Echart zk3.4.5

架构

1. 编码[内存]
2. 磁盘（textfile XMl json）
3. RDBMS(MySQL oracle)
4. 分布式、集群 （noSQL）
5. Hadhoop

   

数仓架构

离线:批计算——攒了一批数据、计算一次

1. 数据来源 （1）业务数据【RDBMS】 （2）行为数据【行为日志】 （3）爬虫数据【api】 （4）第三方交易【api】
2. 数据采集 （1）;mr （2）spark （3）flink 3.数仓搭建 （1）Hive 4.业务流程

   

实时:流计算——来一次计算一次 1.数据来源 （1）业务数据【RDBMS】 （2）行为数据【行为日志】 （3）爬虫数据【api】 （4）第三方交易【api】 2.缓冲 （1）kafla 3.存储 （1）redis （2）hbase （3）sprakstreaming （4）flink （5）blink 4.分析 （1）olap分析引擎 （2）Kylin （3）clickhouse 5.展示 Springboot Echarts

Linux-简单使用部署