MultiOuputFormat en mapreduce saltarse algunos registros al escribir en la salida

votos
0

Estoy utilizando el código de abajo para escribir en 2 salidas diferentes

org.apache.hadoop.mapreduce.lib.output.MultipleOutputs multipleOutputs = new MultipleOutputs <> (contexto); multipleOutputs.write (resultado, null, tempPath1); multipleOutputs.write (resultado, null, tempPath2);

Estoy solicitando par de diferentes lógicas de negocio en expediente mapa de entrada y después de que el almacenamiento de ellos a dos salidas diferentes.

A veces es escribir todos los registros de entrada a la salida y, a veces su not.For los casos en que su escritura sólo pocos registros (saltarse algunos) a la salida, cuando los vuelva a ejecutar de nuevo su funcionamiento muy bien. Por lo tanto, no soy capaz de encontrar la causa raíz.

Publicado el 07/11/2018 a las 22:42
fuente por usuario
En otros idiomas...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more