北京中软培训Logo

0
在招课程

0
校区数量

 

咨询电话:

Hadoop高级开发应用与实践

认证机构

本课程由北京中软培训提供,有754浏览量

课程分类:  IT培训

适合对象:  

咨询电话:  400-968-9396

上课地点:  [中软大厦校区] 北京海淀魏公村北京市海淀区学院南路55号中软大厦B座

开班日期:  滚动开班

学       费:  咨 询

班       级:  
  • 中软大厦校区
 
人       数:
 
报名试听 我要咨询

课程简介

互联网企业和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验,传统的关系型数据库已经无法满足大数据量高并发的要求,何以解忧?Hadoop!本课程针对Hadoop大数据处理技术的项目实战需求,有针对性设计;以帮助学员实现基于Hadoop的应用开发。

课程目标

  • 全面掌握Hadoop的架构原理和使用场景;
  • 全程项目实战训练;
  • 彻底掌握使用Hadoop进行MapReduce程序开发;
  • 熟悉分布式计算领域的常用算法;

课程纲要

第 一讲 由案例引入Hadoop技术
  1. 案例背景
  2. 案例功能模块简介
  3. 数据导入:Flume
  4. 数据分析
  5. Hadoop MapReduce
  6. Hadoop MapReduce Streaming编程
  7. MapReduce分布式程序
  8. Hadoop 核心代码剖析
  9. HDFS分布式文件系统编程
第二讲 Hadoop Mapreduce高级编程
  1. ToolRunner介绍
  2. 使用MRUnit进行测试
  3. 利用Combiners来减少中间数据
  4. 使用Configure和Close方法来进行Map/Reduce设置和关闭
  5. 编写Partitioner来优化负载平衡
  6. 直接访问Hadoop分布式文件系统(HDFS)
  7. 使用分布式缓存(Distributed Cache)
第三讲 MapReduce的优化
  1. map优化
  2. reduce优化
  3. 小文件优化
  4. 第四讲 MapReduce的任务调度
  5. Queue调度的使用
  6. 公平调度的使用
  7. 能力调度的使用
第五讲 MapReduce编程实战
  1. Hadoop的join操作
  2. Hadoop的二次排序
  3. Hadoop的海量日志分析
  4. 第六讲 flume+hadoop日志收集实战
  5. flume核心组件讲解
  6. flume自带的组件分析
  7. flume二次开发实战
第七讲 用户行为分析系统案例解析与技术分享
第八讲 CDR详单系统案例解析与技术分享

 

 

开设班级

班级 开班时间 上课地点 学费 试听/报名
中软大厦校区/ 面授 滚动开班 北京海淀北京市海淀区学院南路55号中软大厦B座 咨询 报名
 

课程咨询

我要咨询
 

发表咨询

 
有回复时短信通知我 发表咨询
课程推荐
更新时间:2023-06-09