RDD vs DataFrame vs Dataset / Blogs / Perficient

Dans le contexte d’Apache Spark, RDD, DataFrame et Dataset sont des abstractions différentes permettant de travailler avec des données structurées et semi-structurées. Voici une brève définition de chacun :

RDD (ensemble de données distribuées résilientes) :

• RDD est l’abstraction de base de Spark.
• Il représente une collection immuable et distribuée d’objets qui peuvent être traités en parallèle sur un cluster.
• Les RDD peuvent contenir tout type d’objets Python, Java ou Scala.
• Les RDD prennent en charge les transformations (par exemple, carte, filtre) et les actions (par exemple, comptage, collecte) pour effectuer des calculs distribués.

Trame de données:

• DataFrame est une abstraction de niveau supérieur introduite dans Spark qui organise les données en colonnes nommées.
• Il est conceptuellement similaire à une table dans une base de données relationnelle ou à un bloc de données dans la bibliothèque pandas de R/Python.
• Les DataFrames peuvent être créés à partir de diverses sources de données telles que des fichiers de données structurés (par exemple CSV, JSON), des tables Hive ou des RDD existants.
• Ils fournissent un moyen déclaratif de type SQL pour manipuler les données par rapport aux RDD.
• Les opérations DataFrame sont optimisées à l’aide de l’optimiseur Catalyst de Spark.

Base de données:

• Dataset est une nouvelle abstraction introduite dans Spark qui combine les fonctionnalités des RDD et des DataFrames.
• Il fournit la sécurité de type des RDD (via Scala/Java) et l’API de haut niveau des DataFrames.
• Les ensembles de données sont fortement typés, ce qui signifie que les éléments d’un ensemble de données doivent être des instances d’une classe spécifique.
• Ils offrent de meilleures performances que les RDD grâce à leurs optimisations, notamment lorsque vous travaillez avec des données structurées.
• Les ensembles de données peuvent être créés à partir de DataFrames ou de RDD, et ils prennent en charge à la fois la programmation fonctionnelle et les requêtes de type SQL.

Comparons les RDD, les DataFrames et les ensembles de données dans Apache Spark dans différentes dimensions :

En résumé, les RDD constituent le niveau d’abstraction le plus bas offrant de la flexibilité mais avec moins d’optimisation et de sécurité de type. Les DataFrames fournissent une interface plus proche de celle de SQL avec des optimisations, tandis que les Datasets offrent les avantages des RDD et des DataFrames avec des avantages plus forts en matière de sécurité de type et de performances. Le choix entre eux dépend des exigences de l’application et de facteurs d’équilibrage tels que les performances, la facilité d’utilisation et la sécurité du type.

Les références:

Pour en savoir plus sur les opérations RDD : Opérations Spark RDD (perficient.com)

Documentation officielle : une-conte-de-trois-apache-spark-apis-rdds-dataframes-and-datasets