Die Ausgabe des Mappers (Zwischendaten) wird auf dem lokalen Dateisystem (nicht HDFS) jedes einzelnen Mapper-Datenknotens gespeichert. Dies ist normalerweise ein temporäres Verzeichnis, das vom Hadoop-Administrator in der Konfiguration eingerichtet werden kann.
Wo speichert MapReduce Zwischendaten?
- Die Mapper-Ausgabe (Zwischendaten) wird auf dem lokalen Dateisystem (NICHT HDFS) jedes einzelnen Mapper-Knotens gespeichert. …
- Ich denke, das ist der Parameter, der geändert werden muss, um den Speicherort der Zwischendaten zu ändern..
- mapreduce.cluster.local.dir.
- Hoffe, das hilft.
Wo wird die Ausgabe des Mappers gespeichert?
9) Wo wird die Mapper-Ausgabe gespeichert? Die Schlüsselwert-Zwischendaten der Mapper-Ausgabe werden im lokalen Dateisystem der Mapper-Knoten gespeichert. Dieser Verzeichnispfad wird in der Konfigurationsdatei vom Hadoop-Administrator festgelegt.
Was sind Zwischendaten in MapReduce?
Zwischendatendateien werden von Map- und Reduzieraufgaben in einem Verzeichnis (Speicherort) auf der lokalen Festplatte generiert. … Von den Kartenaufgaben generierte Ausgabedateien, die als Eingabe für die Reduzierungsaufgaben dienen. Temporäre Dateien, die von den Reduzierungsaufgaben generiert wurden.
Wo ist die Ausgabe des Mappers in Hadoop geschrieben?
In Hadoop wird die Ausgabe von Mapper auf der lokalen Festplatte gespeichert, da es sich um eine Zwischenausgabe handelt. Es besteht keine Notwendigkeit, Zwischendaten zu speichernauf HDFS, weil: das Schreiben von Daten kostspielig ist und eine Replikation erfordert, die den Kosten- und Zeitaufwand weiter erhöht.
