Cómo ver el registro de misiones en Sparks on Yarn

Tanto Flink como Spark admiten clústeres de creación propia. Sin embargo, para garantizar la estabilidad y el aislamiento de los recursos, es mejor utilizar un marco de gestión de recursos (como Yarn) para ejecutar tareas en el entorno de producción. Cuando una tarea se ejecuta en hilo, puede resultar inconveniente consultar el registro, especialmente después de que el proceso de la tarea finaliza de manera anormal.

Los registros no se guardan de forma predeterminada después de que sale el contenedor de hilo. Entonces necesitas iniciar JobHistoryServer, hay muchos tutoriales en Internet.

Las tareas de Spark en ejecución se pueden ver directamente a través de la interfaz de usuario web de Spark:

Para las aplicaciones de hilo completadas, el proceso de Spark ha cerrado y no se pueden proporcionar los servicios de WebUI.

Según la forma en que Flink On Yarn analiza los registros de tareas, ya conocemos la estructura de URL del registro. Esta vez, simplemente busque el nombre del contenedor y el nodo para acceder a los registros.

La URL del controlador es: http://node 5:19888/job History/logs/node 3:8041/container_1634207619484_0496_01_. contenedor_1634207619484_0496_01_00001/root/stderr/? start=0

Busque en el registro del controlador y busque el nombre del contenedor contenedor_1634207619484_0496_01_000002 y el nodo host 3.

Es muy fácil ver los registros de ejecución de flink/spark porque ambos proporcionan servicios de interfaz de usuario web. Pero cuando la tarea finaliza de forma anormal, el proceso flink/spark finaliza y no se puede proporcionar el servicio de interfaz de usuario web. Usamos un servidor de historial de trabajos para guardar y mostrar los registros actuales. Sin embargo, la web de Yarn solo muestra los enlaces de registro del administrador de trabajos de Flink/controlador Spark, y necesitamos unir los enlaces de registro del administrador de tareas de Flink/ejecutor Spark nosotros mismos.

Finalmente, tengo una pequeña duda: la composición de la URL presentada en este artículo es especulativa, y la tercera parte es /container_163420719484_0505_01_000001/container_1634207656. Espero que los amigos que sepan más puedan dejar un mensaje para aclarar sus dudas.

Enlaces relacionados:

¿Cómo ver los registros de tareas en Flink On Yarn?

Cómo ver el registro de tareas en Sparks on the Yarn