大数据Flink进阶(十一):Flink History Server配置使用

2023-04-10 06:24:33       来源:腾讯云

Flink History Server配置使用

基于Standalone或者Yarn模式提交Flink任务后,当任务执行失败、取消或者完成后,可以在WebUI中查看对应任务的统计信息,这些统计信息在生产环境中对我们来说非常重要,可以知道一个任务异常挂掉前发生了什么,便于定位问题。

当基于Standalone session模式提交相应任务时,集群重启后我们没有办法查看集群之前运行任务的情况,如果是基于pre-job方式提交任务,任务执行完成之后,那么相对应的统计信息也不会保存,基于Yarn运行的Flink任务也是一样道理。这样对于我们查看先前Flink作业统计信息或参数带来了不便。Flink中提供了History Server 来解决这个问题,可以在任务执行完成后保留相应的任务统计信息,便于分析和定位问题。

History Server 允许查询由JobManager归档的已完成作业的状态和统计日志信息。已完成的作业归档由JobManager上传持久化到某个路径下,这个路径可以是本地文件系统、HDFS、H3等,History Server 可以周期扫描该路径将归档的Flink任务日志恢复出来,从而可以查看相应Flink任务日志情况。


(资料图片)

一、Standalone History Server配置与验证

1、配置

在Standalone中配置History Server 服务需要选择一台节点当做History Server ,这台节点可以是JobManager/TaskManager节点,也可以是Standalone集群外的一台节点,这里选择node4节点作为Flink History Server 节点。Standalone配置HistoryServer 服务步骤如下:

1.1、在JM 和 TM 节点上配置 flink-conf.yaml

在Flink Standalone JobManager和TaskManager节点上配置flink-conf.yaml文件,指定Flink完成任务持久化的路径,这里选择HDFS目录作为任务日志持久化保存目录。在node1、node2、node3节点上配置$FLINK_HOME/conf/flink-conf.yaml文件,加入以下配置。

#Flink job运行完成后日志存储目录jobmanager.archive.fs.dir: hdfs://mycluster/flink/completed-jobs/

Flink会根据以上配置连接HDFS 目录存储任务数据,所以需要在node1、node2、node3节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。

#vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效source /etc/profile

1.2、在History Server 节点上配置 flink-conf.yaml

在node4节点上配置$FLINK_HOME/conf/flink-conf.yaml文件,加入如下配置,配置HistoryServer。

#Flink History Server 节点historyserver.web.address: node4#Flink History Server 端口historyserver.web.port: 8082#Flink History Server 恢复任务的目录historyserver.archive.fs.dir: hdfs://mycluster/flink/completed-jobs/#Flink History Server 监控任务日志目录刷新时间间隔(毫秒)historyserver.archive.fs.refresh-interval: 10000

Flink会根据以上配置连接HDFS目录恢复任务数据,这里要求"historyserver.archive.fs.dir"参数配置需要与Flink各个节点上配置的"jobmanager.archive.fs.dir"参数路径保持一致。此外,需要在node4节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。

# vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效[root@node4 ~]# source /etc/profile

1.3、启动 Flink 历史日志服务器

在node4节点上启动Flink History Server

#启动Flink 历史日志服务器[root@node4 ~]# cd /software/flink-1.16.0/bin/[root@node4 bin]# ./historyserver.sh start

2、验证

History Server 启动后,可以通过https://node4:8082 来访问历史日志服务页面。

我们可以通过向Standalone集群中提交任务来验证History Server是否能正常展示运行Flink任务的统计信息,步骤如下:

2.1、启动 Standalone 集群

[root@node1 ~]# cd /software/flink-1.16.0/bin/[root@node1 bin]# ./start-cluster.sh

2.2、提交任务

向Flink集群中提交任务,任务还是选择读取Socket端口数据实时统计WordCount。首先在node5节点上启动socket服务:

[root@node5 ~]# nc -lk 9999

在node4 客户端提交Flink任务(可以在任意节点提交Flink任务),命令如下:

[root@node4 ~]# cd /software/flink-1.16.0/bin/[root@node4 bin]# ./flink run -m node1:8081 -c com.mashibing.flinkjava.code.chapter3.SocketWordCount /root/FlinkJavaCode-1.0-SNAPSHOT-jar-with-dependencies.jar

提交任务后在HDFS中暂时不会生成hdfs://mycluster/flink/completed-jobs"目录,当Flink集群停止、任务取消、任务失败后才可以在该目录下看到job信息。

2.3、取消任务并查看历史日志

在node5节点向Socket 9999端口输入一些数据:

hello,ahello,bhello,chello,d

然后在Flink WebUI中取消当前任务:

取消任务后可以在"hdfs://mycluster/flink/completed-jobs"目录中看到取消任务的信息:

当任务取消后,也可以停止Flink集群,Flink集群重启后先前的任务统计信息不会展示,可以登录Flink历史日志服务器查看先前任务统计信息:

注意:在取消任务或者停止Flink集群后,需要等待一小段时间才能在Flink历史日志服务器中查看到对应的取消任务。

二、Yarn History Server配置与验证

1、配置

Flink基于Yarn运行时,当Flink任务形成的集群停止后,无法看到对应任务的统计信息,也可以通过配置History Server来实现基于Yarn的Flink集群停止后查看任务的统计信息。

这里选择node5节点为History Server,基于Yarn运行Flink任务配置HistoryServer服务步骤如下:

1.1、在node5 节点上配置 flink-conf.yaml

在node5节点上配置$FLINK_HOME/conf/flink-conf.yaml文件,最后配置以下配置项。

#Flink job运行完成后日志存储目录jobmanager.archive.fs.dir: hdfs://mycluster/flink-yarn/completed-jobs/#Flink History 服务器地址historyserver.web.address: node5#HistroyServer WebUI 访问端口historyserver.web.port: 8082#HistoryServer历史日志服务恢复任务信息目录historyserver.archive.fs.dir: hdfs://mycluster/flink-yarn/completed-jobs/#Flink History Server 监控任务日志目录刷新时间间隔(毫秒)historyserver.archive.fs.refresh-interval: 10000

Flink会根据以上配置连接HDFS 目录存储任务数据,所以需要在node5节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。

#vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效source /etc/profile

1.2、启动 Flink 历史日志服务器并访问

在node5节点上启动Flink History Server

#启动Flink 历史日志服务器[root@node5 ~]# cd /software/flink-1.16.0/bin/[root@node5 bin]# ./historyserver.sh start

访问历史日志服务地址:https://node5:8082

2、验证

在node5节点基于Yarn提交Flink任务来验证History Server是否能正常展示执行完成的Flink任务统计信息。步骤如下:

2.1、向Yarn 集群中提交 Flink任务

向Yarn集群中提交Flink任务,任务还是选择读取Socket端口数据实时统计WordCount。在node5节点启动socket服务器:

[root@node5 ~]# nc -lk 9999

在node5节点向Flink集群中提交Flink任务,命令如下:

[root@node5 ~]# cd /software/flink-1.16.0/bin/# 提交Flink任务[root@node5 bin]#./flink run-application -t yarn-application -c com.lanson.flinkjava.code.chapter3.SocketWordCount /root/FlinkJavaCode-1.0-SNAPSHOT-jar-with-dependencies.jar

提交任务后在HDFS中暂时不会生成hdfs://mycluster/flink/completed-jobs"目录,当Flink集群停止、任务取消、任务失败后才可以在该目录下看到job信息。

2.2、取消任务并查看历史日志

在node5节点向Socket 9999端口输入一些数据:

hello,ahello,bhello,chello,d

然后登录Yarn(https://node1:8081) WebUI,找到提交的任务取消对应Flink任务:

取消任务后可以在"hdfs://mycluster/flink-yarn/completed-jobs"目录中看到取消任务的信息:

登录Flink历史日志服务器查看取消任务统计信息:

注意:在取消任务或者停止Flink集群后,需要等待一小段时间才能在Flink历史日志服务器中查看到对应的取消任务。

关键词:
x 广告
x 广告

Copyright @  2015-2022 海外生活网版权所有  备案号: 沪ICP备2020036824号-21   联系邮箱:562 66 29@qq.com