大数据练习代码,记录学习和工作中的业务场景实现
kafka生产者和消费者代码,拦截器代码
storm的wordCount案例等
hadoop的MR等:
1) hdfsAPI
2) MR案例
3)topN问题
4) map Join和Reduce Join问题
jdbc 方式连接clickhouse数据库,实现插入和查找;
spark操作clickHouse库;
1)自定义source
2)自定义sink
3)自定义拦截器(数据初步筛选到kafka的不同topic)
1)Java API的增删改查
2)过滤器
1) UDF UDAF函数编写
scala语言的学习代码,分章节记录
数据类型,控制流程,函数与参数,高阶函数,面向对象等
1) spark缓存和checkpoint
2) 累加器和广播变量,链接mysql
3) RDD各种算子的使用
4) 操作文件
1) RDD <=> DF <=> DS
2) udf udaf
1)nc方式的wc案例
2)对接kafka的wc案例
zk API相关代码
基于ALS的电影推荐系统模块