Aquí podría ser tu PUBLICIDAD


La creación de archivos de texto en PairedRDD Spark

votos
0

Tengo una duda con Spark Apache mediante la codificación de Java. Tengo un archivo de ejemplo en formato de texto compuesto por pares separados por Tab carbón. Algo como esto:

** example.txt
1   5
2   7
5   4
**

y yo estaba leyendo algunos libros en Internet y sugieren este código para crear un pairedRDD utilizando la primera fila de la línea como la clave, y la segunda columna como valor. Así que utilizan la Tuple2 (de Scala).

Pero no puedo entender por qué todos los ejemplos que veo, crear la tupla, inicializar el objeto con el valor que el conjunto de la línea. Debido a que la clave es sólo el [0] de la x.split) [0] ( función. y el valor parece ser toda la línea.

¿Es esto correcto? o debería reemplazarlo por x.split () [1] (para el valor)?

El código siguiente es lo que he encontrado en muchas fuentes ejemplo en la web.

PairFunction<String, String, String> keyData =   new PairFunction<String, String, String>() {

    public Tuple2<String, String> call(String x) {

    return new Tuple2(x.split(” “)[0], x);

}
Publicado el 02/09/2018 a las 05:18
fuente por usuario Hernan Z
En otros idiomas...        العربية       


Aquí podría ser tu PUBLICIDAD