Analyse des flux RSS à l’aide de PySpark

Introduction

Un flux RSS (Really Simple Syndication) est un fichier en ligne qui contient des détails sur chaque élément de contenu publié par un site. Les flux RSS sont un moyen courant de distribuer des mises à jour provenant de sites Web et de blogs. Ces flux sont souvent fournis au format XML et Python propose plusieurs outils pour les analyser et en extraire des informations. Cet article de blog explorera comment analyser les flux RSS XML à l’aide de Pyspark.

Exemple de test de flux RSS

Conditions préalables

Avant de commencer, assurez-vous que Python est installé sur votre système (Lien pour installer Python- https://www.python.org/downloads/ ).

Comprendre les flux RSS et l’analyse XML

Les flux RSS contiennent des articles, des actualités ou d’autres mises à jour dans un format XML structuré. Pour travailler avec ces flux, nous pouvons utiliser la bibliothèque xml.etree.ElementTree ou feedparser en Python, qui fournit un moyen efficace d’analyser les données XML. Gardez à l’esprit que les flux RSS peuvent contenir des éléments supplémentaires au-delà du titre, du lien et de la description. Si nous utilisons xml.etree.ElementTree, nous devrons adapter le code d’analyse pour extraire d’autres éléments d’intérêt. Nous comprendrons l’utilisation et la mise en œuvre du module feedparser dans ce blog.

Étapes pour analyser les flux RSS XML

Passons aux étapes d’analyse d’un flux RSS XML à l’aide de Python

Importez les bibliothèques requises : commencez par importer toutes les bibliothèques nécessaires.

Remarque : Universal Feed Parser est un module Python qui télécharge et analyse les flux syndiqués. Il peut gérer RSS 0.90, Netscape RSS 0.91, Userland RSS 0.91, etc., Atom 1.0 et plus, les flux CDF et JSON. Il peut également analyser les modules d’extension populaires, comme les extensions iTunes de Dublin Core et Apple. Pour utiliser Universal Feed Parser, vous pouvez utiliser Python 3.8 ou des versions ultérieures. Universal Feed Parser n’est pas destiné à fonctionner de manière autonome ; c’est un module que vous pouvez utiliser dans le cadre d’un programme Python plus vaste. Universal Feed Parser est très facile à utiliser ; il a une fonction publique principale, « analyser ». La fonction d’analyse peut prendre plusieurs arguments, mais un seul d’entre eux est requis et il peut s’agir d’une URL, d’un nom de fichier local ou d’une chaîne brute contenant des données de flux dans n’importe quel format.

Examinons en profondeur l’analyse des flux RSS à l’aide de Pyspark.

1. Initialisez la session Spark, récupérez et chargez le flux RSS : créez une session Spark et téléchargez des fichiers à distance ou via une URL.

from pyspark.sql import SparkSession
import feedparser 
import glob 
import os 

import sys os.environ['PYSPARK_PYTHON'] = sys.executable 

# Initialize SparkSession 
spark = SparkSession.builder \ 
.appName("RSS Feed Processor") \ 
.getOrCreate() 

file_names = glob.glob('c:/Users/Ashita Kumar/Downloads/*.xml')

2. Déclarez le schéma pour le bloc de données.

# Define schema for DataFrame
schema = StructType([
 StructField("file_name", StringType(), True),
 StructField("feed_title", StringType(), True),
 StructField("feed_link", StringType(), True),
 StructField("feed_description", StringType(), True),
 StructField("ID", StringType(), True),
 StructField("title", StringType(), True),
 StructField("description", StringType(), True),
 StructField("link", StringType(), True),
 StructField("image_link", StringType(), True),
 StructField("condition", StringType(), True),
 StructField("availability", StringType(), True),
 StructField("price", StringType(), True),
 StructField("name", StringType(), True),
 StructField("points_value", StringType(), True),
 StructField("ratio", StringType(), True),
 StructField("item_group_id", StringType(), True),
 StructField("brand", StringType(), True),
 StructField("product_type", StringType(), True),
 StructField("color", StringType(), True),
 StructField("size_of_product", StringType(), True),
 StructField("gender", StringType(), True),
 StructField("sale_price", StringType(), True),
 StructField("custom_label_0", StringType(), True),
 StructField("custom_label_1", StringType(), True),
 StructField("fb_product_category", StringType(), True),
 StructField("age_group", StringType(), True),
])

3. Parcourez tous les fichiers et analysez le fichier à l’aide de Feedparser. Utilisez la bibliothèque de requêtes pour récupérer le flux RSS à partir d’une URL et le charger dans un objet de flux. Nous pouvons charger le flux RSS à partir d’une URL ou même d’un emplacement de stockage.

# Create an empty list to store rows
rows = []
# Iterate through all files
for file in file_names:
   print("Processing file:", file)
# Parse the XML file using feedparser
   feed = feedparser.parse(file)
# Extract feed details
   feed_title = feed['feed'].get('title', '')
   feed_link = feed['feed'].get('link', '')
   feed_description = feed['feed'].get('description', '')
# Title of the file
   print("title of the feed ", feed['feed']['title'])
# Link of the Feed
   print("link of the feed ", feed['feed']['link'])
# Description of the feed
   print("description of the feed", feed['feed']['description'])

Sortie des instructions d’impression pour les détails du flux

4. Analyser les éléments RSS : parcourez les éléments RSS pour extraire les informations pertinentes.

# Iterate through feed entries
 for entry in feed.entries:
   row = {"file_name": "big_bazar_file",  # Use the actual file name
         "feed_title": feed_title,
         "feed_link": feed_link,
         "feed_description": feed_description,
         "ID": getattr(entry, 'g_id', ''),
         "title": getattr(entry, 'g_title', ''),
         "description": getattr(entry, 'g_description', ''),
         "link": getattr(entry, 'g_link', ''),
         "image_link": getattr(entry, 'g_image_link', ''),
         "condition": getattr(entry, 'g_condition', ''),
         "availability": getattr(entry, 'g_availability', ''),
         "price": getattr(entry, 'g_price', ''),
         "name": getattr(entry, 'g_name', ''),
         "points_value": getattr(entry, 'g_points_value', ''),
         "ratio": getattr(entry, 'g_ratio', ''),
         "item_group_id": getattr(entry, 'g_item_group_id', ''),
         "brand": getattr(entry, 'g_brand', ''),
         "product_type": getattr(entry, 'g_product_type', ''),
         "color": getattr(entry, 'g_color', ''),
         "size_of_product": getattr(entry, 'g_size', ''),
         "gender": getattr(entry, 'g_gender', ''),
         "sale_price": getattr(entry, 'g_sale_price', ''),
         "custom_label_0": getattr(entry, 'g_custom_label_0', ''),
         "custom_label_1": getattr(entry, 'g_custom_label_1', ''),
         "fb_product_category": getattr(entry, 'g_fb_product_category', ''),
         "age_group": getattr(entry, 'g_age_group', '')}
  rows.append(row)

5. Analysez et stockez les valeurs des éléments du flux RSS dans des blocs de données à l’aide de Spark. Nous pouvons créer une trame de données et l’utiliser à des fins d’analyse ou la stocker dans du parquet selon les besoins.

# Create Spark DataFrame
df = spark.createDataFrame(rows, schema=schema)
# Show the DataFrame with specific columns
df.show(truncate=False)
# Stop the Spark session
spark.stop()

df.show() Sortie

Étapes pour analyser XML à l’aide de Python

Nous pouvons également analyser les flux RSS en utilisant uniquement Python. Nous pourrons y parvenir en utilisant les bibliothèques FeedParser et Pandas.

Avantages et inconvénients de l’utilisation du flux RSS

Conclusion

L’analyse des flux RSS XML à l’aide de Python est une compétence précieuse pour travailler avec le contenu dynamique des sites Web et rester à jour avec les dernières informations. Vous pouvez analyser et extraire efficacement des données des flux RSS en utilisant la bibliothèque feedparser et les étapes décrites dans cet article de blog. N’oubliez pas d’ajuster le code d’analyse en fonction de la structure du flux RSS avec lequel vous travaillez.