大数据平台建设培训与咨询
培训大纲:
大数据发展历程及主流技术栈构成
1.为什么会出现大数据,大数据的演进过程是怎么样的
2.商业智能BI、数据仓库DW、数据湖DL、数据中台的原理、区别和核心职能
3.支撑大数据平台的主流框架技术介绍:Spark、Flink、HDFS、HBase、Hive、Kylin、Presto、Kafka、ClickHouse等
整体大数据平台核心板块构成及架构设计
1.整体大数据处理链路介绍及每个环节的技术选型方案
2.五大核心板块介绍:数据接入处理(收集、接收、解析、标准化等)、数据治理与管理(安全脱敏、ID-Mapping血缘图谱、主体式数据仓库 等)、数据消费提取(批量、实时、T+1、API等)、数据链路跟踪(数据回溯、中间状态追踪、数据服务保障等)、数据工具支撑(可视化建模、任务调度、数据搬迁等)
3.整体大数据架构设计介绍:技术架构、存储与计算架构、部署架构、容灾架构,实时流计算,离线存储的核心本质,如何监测实时流处理过程中的问题回溯
4.HDFS、HBase、Hive、Kylin、Spark Streaming/SQL、Flink的底层核心原理及适用业务场景(结合实际工程代码方式讲解)
大型分布式数据仓库建模思路与实践
1.软件系统建模方法:(结构型)类图、对象图、构件图、部署图、包图;(行为型)动图、状态机图、顺序图、通信图、用例图、时间图
2.常用数据建模方法:实体建模法、维度建模法、范式建模法(结合案例讲解)
3.基于中台思想,数据分层的主体思路与重要性介绍
4.基于分布式数据仓库,针对数据的采集、处理、建模的实践介绍
5.数据仓库建设方法论,星型模型(非关系型DB存储,以空间换时间)和雪花模型(关系型DB存储,以时间还空间)两种建模思想的核心差异和适用场景
数据建模与处理行业案例分析(思路、方法、技术选型)
1.基于事件驱动U-E建模,结合业务分拆数据处理粒度
等....课程
中科信软高级技术服务机构(已成立13年)→13年期间,为各大企业提供:各种软件培训、定制培训、技术咨询、技术支持
时间灵活 地点灵活(北上广深、成都、武汉都有上课点),人数灵活,师资丰富、可按您的需求给您定制课程、匹配教师。
小班授课,公开课,上门内训特殊技术订制培训或咨询
技术培训,技术咨询,项目承接,专家外包
咨询 罗老师
咨询 400-7991916 (课程安排和价格详情请电话联系我们!)
邮箱:edu@
网址:www.zksoft.org/