flume kafak实验报告Word格式文档下载.docx

flume kafak实验报告Word格式文档下载.docx

《flume kafak实验报告Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《flume kafak实验报告Word格式文档下载.docx（13页珍藏版）》请在冰豆网上搜索。

以flume和kafka为数据源的sparkstreaming实践

一．Sparkstreaming与Flume的结合

1.下载安装Flume

2.配置对java的依赖

3.配置环境变量

4.验证安装是否成功

5.启动Flume

二．DEA+maven+Sparkstreaming+Flume

1.配置和启动Flume

2.问题及解决

因为在命令行直接把jar包复制到lib目录后文件的读写操作权限不一致，将定义SparkSink的jar包下载并放置到Flume的安装目录的lib文件夹下，使用的jar包为spark-streaming-flume-sink_2.11-2.4.2.jar后第一次启动Flume未能启动成功，将jar包赋予777权限后成功启动。

3.flumePom.xml文件

3.Flume与Sparkstreaming整合代码

4.运行

三．kafka的安装部署

1.下载安装kafka

2.将Kafka的安装路径添加到系统的环境变量

3.启动运行kafka

4.Kafka创建一个主题及查看主题列表

5.创建主题消息的生产者，创建一个消息消费者

四．Kafka与Sparkstreaming的整合

1.Pom.xml文件

2.Kafka与Sparkstreaming的整合代码

3.运行