Resilient Distributed Dataset

Ein abstraktes verteiltes Speichermodell, das es Programmierern ermöglicht, in-Memory-Berechnungen auf umfangreichen Clustern durchzuführen und gleichzeitig die Fehlertoleranz aufrechtzuerhalten. RDDs beheben die Effizienzmängel aktueller Berechnungsframeworks bei der Verarbeitung von iterativen Algorithmen und interaktiven Data-Mining-Tools. Durch die Speicherung der Daten im Hauptspeicher wird die Leistungsfähigkeit von RDDs erheblich verbessert. Um eine effiziente Fehlertoleranz zu gewährleisten, nutzen RDDs eine eingeschränkte Form von gemeinsam genutztem Speicher, der auf grobkörnigen Transformationen basiert, anstatt feinkörnige Aktualisierungen des gemeinsamen Zustands durchzuführen.