Skip to content
/ hdp Public

大数据各种组件相关的代码,应用场景等

Notifications You must be signed in to change notification settings

loujitao/hdp

Repository files navigation

hdp

大数据练习代码,记录学习和工作中的业务场景实现

bigdata

kafka生产者和消费者代码,拦截器代码
storm的wordCount案例等
hadoop的MR等:
 1) hdfsAPI
 2) MR案例    
 3)topN问题
 4) map Join和Reduce Join问题

clickHouse

jdbc 方式连接clickhouse数据库,实现插入和查找;
spark操作clickHouse库;

flumeDemo

1)自定义source
2)自定义sink
3)自定义拦截器(数据初步筛选到kafka的不同topic)

hbaseDemo

1)Java API的增删改查
2)过滤器

hiveDemo

1) UDF UDAF函数编写

scalaDemo

scala语言的学习代码,分章节记录
数据类型,控制流程,函数与参数,高阶函数,面向对象等

sparkDemo

 1) spark缓存和checkpoint
 2) 累加器和广播变量,链接mysql
 3) RDD各种算子的使用 
 4) 操作文件   

sparkSQL

1) RDD <=> DF <=> DS
2) udf udaf

sparkStreaming

1)nc方式的wc案例
2)对接kafka的wc案例

zookeeperDemo

zk API相关代码

aclRecommend

基于ALS的电影推荐系统模块        

About

大数据各种组件相关的代码,应用场景等

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published