Envoi de journaux en temps réel vers Splunk Cloud à l’aide d’Universal Forwarder / Blogs / Perficient

Ce guide complet vous guide tout au long du processus de configuration de Splunk Universal Forwarder pour envoyer des journaux en temps réel à Splunk Cloud. Découvrez comment améliorer les capacités de gestion des journaux de votre organisation, de l’installation au dépannage.

Introduction à Splunk Cloud et Universal Forwarder

Qu’est-ce que Splunk Cloud ?

Splunk Cloud est une puissante plate-forme cloud permettant de collecter, d’analyser et de visualiser des données générées par des machines à partir de diverses sources. Il offre des outils robustes pour rechercher, surveiller et analyser les données de journaux, ce qui les rend indispensables pour les opérations informatiques, la sécurité et l’analyse commerciale.

Le rôle du transitaire universel

Pour importer efficacement les journaux dans Splunk Cloud, vous avez besoin de Splunk Universal Forwarder (UF). Cette version allégée de Splunk collecte et transmet les données de journal à Splunk Cloud en temps réel, comblant ainsi le fossé entre vos sources de données et la plateforme cloud.

Pourquoi utiliser Universal Forwarder pour le transfert de journaux ?

• Surveillance des données en temps réel: permet d’obtenir des informations rapides en transférant les journaux vers Splunk Cloud en temps réel.
• Efficacité: La conception légère minimise l’impact sur les ressources système.
• Évolutivité: Capable de transférer des journaux à partir de plusieurs sources, adapté aux déploiements de petite à grande échelle.

Mise en route : conditions préalables et configuration

Avant de vous lancer dans le processus de configuration, assurez-vous d’avoir :

• Compte Splunk Cloud : Un compte actif (essai gratuit ou abonnement payant). Si vous n’avez pas encore de compte, vous pouvez suivre les instructions fournies sur le blog, « Comprendre Splunk et configurer Splunk Cloud » pour commencer.
• Package d’installation du transitaire universel : Téléchargé pour votre système d’exploitation spécifique.
• Accès aux fichiers journaux : Fichiers journaux identifiés et accessibles pour la surveillance.

Étape 1 : configuration du redirecteur universel Splunk

Téléchargez et installez Splunk Universal Forwarder

1. Visitez la plateforme Splunk Cloud et accédez à l’option Universal Forwarder.
   
2. Cliquez sur la page Web des téléchargements Splunk pour choisir et télécharger votre version spécifique.
   
3. Exécutez le programme d’installation ou extrayez le package à l’emplacement souhaité.
4. Suivez les invites à l’écran pour terminer l’installation.
   
   
   
5. Le service Universal Forwarder devrait démarrer automatiquement après l’installation.

Étape 2 : configuration du redirecteur universel

Configuration de base

Suivez ces étapes pour connecter Universal Forwarder à votre instance Splunk Cloud :

1. Téléchargez le certificat Splunk Cloud depuis la plateforme.
   
2. Installez le certificat à l’aide de la commande :

   splunk.exe install app C:\tmp\splunkclouduf.spl

3. Redémarrez Splunk :

   Splunk restart

4. Configurez le redirecteur pour envoyer des données à Splunk Cloud :

   splunk add forward-server prd-xyz.splunkcloud.com:9997

   Remplacez l’adresse du serveur par votre instance Splunk Cloud spécifique.

5. Autoriser le redirecteur à recevoir des données :

   splunk enable listen 9997

6. Ajoutez une entrée de données :

   splunk add monitor C:/KANCHAN/POCs/scf.log

Étape 3 : Vérification de l’indexation des données et personnalisation des index

Vérification de l’indexation des données

1. Connectez-vous à votre instance Splunk Cloud.
2. Accédez à l’application Recherche et rapports.
   
3. Exécutez une requête de recherche, par exemple :

   index= "main" source="C:\\KANCHAN\\POCs\\scf.log"

   

Configuration d’index personnalisés

1. Recherchez ou créez le fichier inputs.conf dans $SPLUNK_HOME/etc/apps/search/local/.
2. Ajoutez la configuration suivante :

   disabled = false 
   index = test 
   sourcetype = log_file

3. Enregistrez le fichier et redémarrez Universal Forwarder.
4. Vérifiez que le nouvel index reçoit des données.

   index=test sourcetype=log_file

   N’oubliez pas de créer l’index personnalisé dans votre instance Splunk Cloud s’il n’existe pas.

Dépannage des problèmes courants

Si vous rencontrez des problèmes de transmission de données, vérifiez ces coupables courants :

1. Paramètres du pare-feu: assurez-vous que les connexions sortantes sur le port spécifié sont autorisées.
2. Configuration réseau: Vérifiez la connectivité réseau à Splunk Cloud :

   telnet <splunk_cloud_url> 9997

3. Problèmes de certificat: Vérifiez que les certificats sont correctement configurés
   

Comprendre le transfert de journaux en temps réel

il est crucial de comprendre ce que nous entendons par « transfert de journaux en temps réel » dans le contexte de Splunk Universal Forwarder.

Qu’est-ce que le transfert de journaux en temps réel ?

Le transfert de journaux en temps réel fait référence au processus dans lequel les fichiers journaux sont surveillés en permanence pour détecter les modifications, et toute nouvelle donnée est immédiatement envoyée à Splunk Cloud. Cela signifie que dès que de nouvelles entrées de journal sont écrites dans un fichier, elles sont détectées et transférées, garantissant ainsi que votre instance Splunk Cloud dispose toujours des informations les plus à jour.

Décomposons cela en utilisant notre exemple :

splunk add monitor C:/KANCHAN/POCs/scf.log

Lorsque vous utilisez cette commande, vous demandez à Universal Forwarder de :

1. Surveiller en permanence: Universal Forwarder gardera une surveillance constante sur le fichier scf.log.
2. Détecter les changements: Chaque fois que le fichier scf.log est modifié (c’est-à-dire que de nouvelles entrées de journal sont ajoutées), Universal Forwarder détecte immédiatement ces modifications.
3. Transférer de nouvelles données: Dès que de nouvelles entrées de journal sont détectées, elles sont transmises à Splunk Cloud sans aucune intervention manuelle.
4. Maintenir la position du fichier: Universal Forwarder garde une trace de l’endroit où il a été lu pour la dernière fois dans le fichier, garantissant que seules les nouvelles données sont envoyées et qu’aucun doublon n’est créé.

Cette nature en temps réel du transfert de journaux est incroyablement puissante car elle signifie :

• Vous disposez toujours des données les plus récentes dans Splunk Cloud pour analyse.
• Vous pouvez configurer des alertes et des tableaux de bord en temps quasi réel dans Splunk Cloud, car les données sont continuellement mises à jour.

Par exemple, si votre fichier scf.log est un journal d’application qui enregistre les activités des utilisateurs, les erreurs ou les événements système, toutes les nouvelles entrées seront presque immédiatement disponibles dans Splunk Cloud. Cela permet une détection rapide des problèmes, une surveillance en temps réel des activités des utilisateurs ou des alertes instantanées sur les événements critiques.

Il est important de noter que même si nous utilisons le terme « temps réel », il existe toujours un léger retard dû à des facteurs tels que la latence du réseau et le temps de traitement. Cependant, dans la plupart des cas, ce délai est négligeable et les données peuvent être considérées comme disponibles en temps quasi réel.

Capacités Splunk Cloud

La configuration du transfert des journaux en temps réel vers Splunk Cloud à l’aide d’Universal Forwarder améliore considérablement les capacités de gestion des journaux de votre organisation. En suivant ce guide, vous avez franchi une étape cruciale vers une analyse de données plus efficace et plus approfondie. Continuez à explorer les fonctionnalités de Splunk Cloud pour libérer tout le potentiel de vos données de journaux.