Flink on yarn任务日志怎么看

• 大数据

1、jobmanager日志

        在yarn上可以直接看

Flink on yarn任务日志怎么看

Flink on yarn任务日志怎么看

2、taskmanager日志

         在flink的webui中可以看，但是flink任务失败后，webui就不存在了，那怎么看？

Flink on yarn任务日志怎么看

这是jobmanager的地址

hadoop02:19888/jobhistory/logs/hadoop02:45454/container_e03_1684463979345_0028_01_000001/container_e03_1684463979345_0028_01_000001/root

你要看taskmanager的地址，首先我们要知道taskmanager运行在哪里

 打开Jobmanager日志

Flink on yarn任务日志怎么看

 全局搜索

 Registering TaskManager with ResourceID

Flink on yarn任务日志怎么看后边就是taskmanager地址因此，替换一下url就可以得到这个taskmanger的地址

2023-05-30 03:19:35,136 INFO  org.apache.flink.runtime.resourcemanager.active.ActiveResourceManager [] - Registering TaskManager with ResourceID container_e03_1684463979345_0028_01_000003(hadoop03:45454) (akka.tcp://flink@hadoop03:43225/user/rpc/taskmanager_0) at ResourceManager
2023-05-30 03:19:35,147 INFO  org.apache.flink.runtime.resourcemanager.active.ActiveResourceManager [] - Worker container_e03_1684463979345_0028_01_000003(hadoop03:45454) is registered.

Flink on yarn任务日志怎么看http://hadoop02:19888/jobhistory/logs/{taskmangerIp}:45454/{taskmanager的容器名}/{taskmanager的容器名}/root

taskmanager容器名：container_e03_1684463979345_0028_01_000003

taskmangerIp:  hadoop03

http://hadoop02:19888/jobhistory/logs/{taskmangerIp}:45454/{taskmanager的容器名}/{taskmanager的容器名}/rootFlink on yarn任务日志怎么看

Flink on yarn任务日志怎么看

注意：应该会有好多个taskmanger

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/a9b96f3305.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐