flume kafak实验报告.docx
《flume kafak实验报告.docx》由会员分享,可在线阅读,更多相关《flume kafak实验报告.docx(13页珍藏版)》请在冰豆网上搜索。
flumekafak实验报告
实验十三:
以flume和kafka为数据源的sparkstreaming实践
一.Sparkstreaming与Flume的结合
1.下载安装Flume
2.配置对java的依赖
3.配置环境变量
4.验证安装是否成功
5.启动Flume
二.DEA+maven+Sparkstreaming+Flume
1.配置和启动Flume
2.问题及解决
因为在命令行直接把jar包复制到lib目录后文件的读写操作权限不一致,将定义SparkSink的jar包下载并放置到Flume的安装目录的lib文件夹下,使用的jar包为spark-streaming-flume-sink_2.11-2.4.2.jar后第一次启动Flume未能启动成功,将jar包赋予777权限后成功启动。
3.flumePom.xml文件
3.Flume与Sparkstreaming整合代码
4.运行
三.kafka的安装部署
1.下载安装kafka
2.将Kafka的安装路径添加到系统的环境变量
3.启动运行kafka
4.Kafka创建一个主题及查看主题列表
5.创建主题消息的生产者,创建一个消息消费者
四.Kafka与Sparkstreaming的整合
1.Pom.xml文件
2.Kafka与Sparkstreaming的整合代码
3.运行