Spark-geheugenbeheer

Deze geheugenpool wordt beheerd door Spark. Dit is verantwoordelijk voor het opslaan van de tussenstatus tijdens het uitvoeren van taken zoals joins of voor het opslaan van de uitzendvariabelen. Alle in de cache opgeslagen/persistente gegevens worden in dit segment opgeslagen, met name in het opslaggeheugen van dit segment.

1. Hoe werkt het vonkgeheugen??
2. Kan vonk opraken van geheugen?
3. Hoe is het geheugen verdeeld in vonk??
4. Hoe stem ik mijn Spark-geheugen af?

Hoe werkt het vonkgeheugen??

Apache Spark is een clustercomputingplatform dat een API biedt voor gedistribueerd programmeren vergelijkbaar met het MapReduce-model, maar is ontworpen om snel te zijn voor interactieve query's en iteratieve algoritmen. Het bereikt dit voornamelijk door gegevens die nodig zijn voor de berekening in het geheugen van de knooppunten in het cluster te cachen.

Kan vonk opraken van geheugen?

Onvoldoende geheugen op bestuurdersniveau

Een driver in Spark is de JVM waar de hoofdbesturingsstroom van de applicatie draait. Vaker wel dan niet, mislukt het stuurprogramma met een OutOfMemory-fout vanwege onjuist gebruik van Spark.

Hoe is het geheugen verdeeld in vonk??

Op heap-geheugen

Spark gebruikt standaard alleen On-memory heap. Het On-heap-geheugengebied in de Executor kan grofweg worden onderverdeeld in de volgende vier blokken: Opslaggeheugen: het wordt voornamelijk gebruikt om Spark-cachegegevens op te slaan, zoals RDD-cache, Unroll-gegevens, enzovoort.

Hoe stem ik mijn Spark-geheugen af?

Hier zijn een paar manieren om dit te doen:

1. Als de RAM-grootte kleiner is dan 32 GB, moet de JVM-vlag worden ingesteld op –xx:+ UseCompressedOops. ...
2. Geneste structuren kunnen worden ontweken door verschillende kleine objecten en aanwijzers te gebruiken.
3. In plaats van tekenreeksen voor sleutels te gebruiken, kunt u numerieke ID's en opgesomde objecten gebruiken.