更新时间:2020-09-11 来源:黑马程序员 浏览量:
课程简介
从零开始讲解大数据业务及数据采集和迁移需求,以案例驱动的方式讲解基于Sqoop构建高性能的分布式数据迁移和同步平台。
课程亮点
1,知识体系完备,从小白到大神各阶段读者均能学有所获。
2,生动形象,化繁为简,讲解通俗易懂。
3,结合工作实践及分析应用,培养解决实际问题的能力。
4,每一块知识点, 都有配套案例, 学习不再迷茫。
适用人群
1、对大数据感兴趣的在校生及应届毕业生。
2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。
3、对大数据行业感兴趣的相关人员。
课程内容
第一章:企业数据迁移需求及解决方案
1.企业级数据迁移及同步需求
2.Sqoop的设计思想
3.Sqoop与Hadoop的关系
4.Sqoop的分布式实现原理
5.Sqoop的企业级版本选型
6.Sqoop1的部署安装及配置
第二章:Sqoop数据导入实战开发
1.Sqoop导入开发参数详解
2.数据导入分布式文件系统HDFS
3.数据导入数据仓库Hive
4.基于复杂条件实现数据导入
5.基于订单案例实现Increment增量同步数据
6.基于订单案例实现lastModified增量同步导入数据
7.数据导入原理详解
第三章:Sqoop数据导出实战开发
1.Sqoop导出开发参数详解
2.基于MySQL实现数据导出
3.基于案例实现updateonly增量同步导出
4.基于案例实现allowinsert增量同步导出
5.数据导出原理详解
第四章:Sqoop企业级任务管理
1.企业级数据管理业务
2.Sqoop Job命令参数详解
3.基于订单案例实现Sqoop Job实战开发
4.Sqoop Job 任务管理