La ejecución de una transmisión de Hadoop y MapReduce trabajo: PipeMapRed.waitOutputThreads (): el subproceso falló con el código 127

votos
0

Estoy tratando de ejecutar esto en mi propia cluser Hadoop. Me encontré con el trabajo con el siguiente comando.

hadoop jar hadoop-streaming-3.1.0.jar -mapper mapper.py -reducer reducer.py -file mapper.py -file reducer.py -input wiki.xml -output output4

Sin embargo, conseguir el siguiente error!

20/10/2018 16: 05: 50.021 WARN streaming.StreamJob: -file opción es obsoleta, por favor utilice la opción genérica -limas lugar.
packageJobJar: [mapper.py, reducer.py, / tmp / hadoop-unjar707072106784045009 /] [] /tmp/streamjob4878270244056389381.jar TMPDIR = null
20/10/2018 16: 05: 51,845 INFO client.RMProxy: Conexión a ResourceManager en /127.0.0.1:8032
20/10/2018 16: 05: 52,512 INFO client.RMProxy: Conexión a ResourceManager en /127.0.0.1:8032
20/10/2018 16: 05: 53,503 INFO mapreduce.JobResourceUploader: la desactivación de Codificación de Erasure ruta: /tmp/hadoop-yarn/staging/anubhav/.staging/job_1540029454250_0014
20/10/2018 16: 05: 56,044 INFO mapred.FileInputFormat: Total de archivos de entrada al proceso: 1
20/10/2018 16: 05: 56,431 INFO mapreduce.JobSubmitter: número de divisiones: 2
20/10/2018 16: 05: 56,496 INFO Configuration.deprecation: yarn.resourcemanager.system-métricas-publisher.enabled está en desuso. En cambio, el uso yarn.system-métricas-publisher.enabled
20/10/2018 16: 05: 56,686 INFO mapreduce.JobSubmitter: Presentación de fichas de trabajo: job_1540029454250_0014
20/10/2018 16: 05: 56,688 INFO mapreduce.JobSubmitter: Ejecutar con fichas: []
20/10/2018 16: 05: 57,125 INFO conf.Configuration: recurso-types.xml No encontrado
20/10/2018 16: 05: 57,125 INFO resource.ResourceUtils: No se puede encontrar 'recursos-types.xml'.
20/10/2018 16: 05: 57.550 INFO impl.YarnClientImpl: application_1540029454250_0014 solicitud presentada
20/10/2018 16: 05: 57,627 INFO mapreduce.Job: La url para realizar el seguimiento del trabajo: http: // anubhav-Inspiron-3542: 8088 / proxy / application_1540029454250_0014 /
20/10/2018 16: 05: 57.629 INFO mapreduce.Job: Trabajo Duración: job_1540029454250_0014
20/10/2018 16: 06: 07,874 INFO mapreduce.Job: Trabajo job_1540029454250_0014 se ejecuta en modo súper: falsa
20/10/2018 16: 06: 07,890 INFO mapreduce.Job: Mapa de reducir 0% 0%
20/10/2018 16: 06: 16,052 INFO mapreduce.Job: Tarea Id: attempt_1540029454250_0014_m_000000_0, Estado: error
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads (): el subproceso falló con el código 127
    en org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:325)
    en org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:538)
    en org.apache.hadoop.streaming.PipeMapper.close (PipeMapper.java:130)
    en org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:61)
    en org.apache.hadoop.streaming.PipeMapRunner.run (PipeMapRunner.java:34)
    en org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:465)
    en org.apache.hadoop.mapred.MapTask.run (MapTask.java:349)
    en org.apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:174)
    en java.security.AccessController.doPrivileged (Nativo Método)
    en javax.security.auth.Subject.doAs (Subject.java:422)
    en org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1682)
    en org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:168)

20/10/2018 16: 06: 16.079 INFO mapreduce.Job: Tarea Id: attempt_1540029454250_0014_m_000001_0, Estado: error
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads (): el subproceso falló con el código 127
    en org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:325)
    en org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:538)
    en org.apache.hadoop.streaming.PipeMapper.close (PipeMapper.java:130)
    en org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:61)
    en org.apache.hadoop.streaming.PipeMapRunner.run (PipeMapRunner.java:34)
    en org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:465)
    en org.apache.hadoop.mapred.MapTask.run (MapTask.java:349)
    en org.apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:174)
    en java.security.AccessController.doPrivileged (Nativo Método)
    en javax.security.auth.Subject.doAs (Subject.java:422)
    en org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1682)
    en org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:168)

20/10/2018 16: 06: 26,193 INFO mapreduce.Job: Tarea Id: attempt_1540029454250_0014_m_000000_1, Estado: error
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads (): el subproceso falló con el código 127
    en org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:325)
    en org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:538)
    en org.apache.hadoop.streaming.PipeMapper.close (PipeMapper.java:130)
    en org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:61)
    en org.apache.hadoop.streaming.PipeMapRunner.run (PipeMapRunner.java:34)
    en org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:465)
    en org.apache.hadoop.mapred.MapTask.run (MapTask.java:349)
    en org.apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:174)
    en java.security.AccessController.doPrivileged (Nativo Método)
    en javax.security.auth.Subject.doAs (Subject.java:422)
    en org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1682)
    en org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:168)

20/10/2018 16: 06: 27.203 INFO mapreduce.Job: Tarea Id: attempt_1540029454250_0014_m_000001_1, Estado: error
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads (): el subproceso falló con el código 127
    en org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:325)
    en org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:538)
    en org.apache.hadoop.streaming.PipeMapper.close (PipeMapper.java:130)
    en org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:61)
    en org.apache.hadoop.streaming.PipeMapRunner.run (PipeMapRunner.java:34)
    en org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:465)
    en org.apache.hadoop.mapred.MapTask.run (MapTask.java:349)
    en org.apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:174)
    en java.security.AccessController.doPrivileged (Nativo Método)
    en javax.security.auth.Subject.doAs (Subject.java:422)
    en org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1682)
    en org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:168)

20/10/2018 16: 06: 37,310 INFO mapreduce.Job: Tarea Id: attempt_1540029454250_0014_m_000000_2, Estado: error
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads (): el subproceso falló con el código 127
    en org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:325)
    en org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:538)
    en org.apache.hadoop.streaming.PipeMapper.close (PipeMapper.java:130)
    en org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:61)
    en org.apache.hadoop.streaming.PipeMapRunner.run (PipeMapRunner.java:34)
    en org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:465)
    en org.apache.hadoop.mapred.MapTask.run (MapTask.java:349)
    en org.apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:174)
    en java.security.AccessController.doPrivileged (Nativo Método)
    en javax.security.auth.Subject.doAs (Subject.java:422)
    en org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1682)
    en org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:168)

20/10/2018 16: 06: 37,314 INFO mapreduce.Job: Tarea Id: attempt_1540029454250_0014_m_000001_2, Estado: error
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads (): el subproceso falló con el código 127
    en org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:325)
    en org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:538)
    en org.apache.hadoop.streaming.PipeMapper.close (PipeMapper.java:130)
    en org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:61)
    en org.apache.hadoop.streaming.PipeMapRunner.run (PipeMapRunner.java:34)
    en org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:465)
    en org.apache.hadoop.mapred.MapTask.run (MapTask.java:349)
    en org.apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:174)
    en java.security.AccessController.doPrivileged (Nativo Método)
    en javax.security.auth.Subject.doAs (Subject.java:422)
    en org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1682)
    en org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:168)

20/10/2018 16: 06: 49,429 INFO mapreduce.Job: Mapa de 100% a reducir el 100%
20/10/2018 16: 06: 51.458 INFO mapreduce.Job: job_1540029454250_0014 Trabajo falló con el estado fracasado debido a: La tarea no task_1540029454250_0014_m_000000
Trabajo ha fallado como tareas fracasaron. failedMaps: 1 failedReduces: 0 killedMaps: 0: 0 killedReduces

20/10/2018 16: 06: 51,571 INFO mapreduce.Job: Contadores: 14
    Contadores de empleo 
        tareas mapa fallidos = 7
        tareas mapa muertos = 1
        Matado a reducir las tareas = 1
        tareas mapa lanzados = 8
        Otras tareas mapa locales = 6
        Mapa de tareas de datos local = 2
        El tiempo total dedicado por todos los mapas de ranuras ocupadas (ms) = 105.898
        El tiempo total dedicado por toda reduce en ranuras ocupadas (ms) = 0
        El tiempo total empleado por todas las tareas mapa (ms) = 52949
        Total de Vcore-milisegundos tomadas por todas las tareas mapa = 52949
        Total de megabyte-milisegundos tomadas por todas las tareas mapa = 162659328
    Map-Reduce Marco
        tiempo de CPU gastado (ms) = 0
        memoria física (bytes) instantánea = 0
        La memoria virtual (bytes) instantánea = 0
20/10/2018 16: 06: 51,571 ERROR streaming.StreamJob: No trabajo con éxito!
Transmisión de Mando Error!

También he añadido
#! /usr/bin/python
al comienzo de mi tanto archivos mapper.py y reducer.py

Publicado el 20/10/2018 a las 10:52
fuente por usuario
En otros idiomas...                            


1 respuestas

votos
0

Finalmente he resuelto este problema cambiando

#! /usr/bin/python

a

#!/usr/bin/env python
Respondida el 20/10/2018 a las 16:23
fuente por usuario

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more