Maximiser la visibilité des journaux et réduire les coûts : stratégies efficaces pour gérer les volumes de journaux indexés dans Datadog

Introduction

Datadog Log Management propose des outils puissants pour interroger, analyser et surveiller les journaux afin que vous disposiez des détails dont vous avez besoin pour suivre et enquêter sur les performances, l’état et la sécurité de vos systèmes et applications. Ces sources de journaux peuvent produire des milliers d’événements de journaux par minute, et l’indexation de tous les journaux à des fins d’interrogation, d’analyse et de surveillance peut rapidement devenir coûteuse. Une façon de réduire ces dépenses consiste à filtrer les journaux avant de les ingérer dans Datadog, minimisant ainsi le volume de journaux traités dès le départ. Cependant, cela peut risquer de créer des lacunes de couverture ou de supprimer accidentellement des données critiques, ce que vous voudrez éviter.

Pour surmonter ces limitations, Datadog propose un Logging sans Limites. Cette fonctionnalité dissocie l’ingestion des journaux de l’indexation, vous permettant ainsi de collecter, traiter, archiver, explorer, analyser et surveiller efficacement tous les journaux, sans être contraint par des coûts élevés ni par la crainte de perdre des informations précieuses.

Dans ce blog, nous découvrirons comment gérer et surveiller efficacement les volumes d’index de journaux à l’aide des index de journaux, des filtres d’exclusion, des moniteurs de journaux et du tableau de bord Gestion des journaux – Utilisation estimée dans Datadog. Ces outils et techniques vous aideront à optimiser vos processus de gestion des journaux et à réduire les coûts.

Processus de gestion des journaux de bout en bout avec la journalisation sans limites de Datadog

Une fois les journaux ingérés et traités dans Datadog, vous pouvez utiliser des balises et des attributs pour les gérer efficacement. Cela inclut le filtrage des journaux pour créer des informations, le stockage ou la suppression des journaux en fonction de leur importance et l’indexation des journaux dont vous avez besoin quotidiennement. De plus, vous pouvez gérer la rétention et les quotas quotidiens pour contribuer à réduire les coûts.

Vous trouverez ci-dessous le chemin d’accès aux journaux ingérés dans Datadog. (Notez que tous ces produits/fonctionnalités ne seront pas activés dans chaque organisation Datadog. Certaines de ces fonctionnalités nécessitent une activation et une configuration.)

1. Ingestion: Les journaux sont ingérés par Datadog.
2. Prétraitement : Les journaux sont ensuite prétraités (s’ils sont au format JSON) et traités à l’aide de pipelines et d’attributs standard pour analyser les attributs, enrichir les détails des journaux et standardiser les noms d’attributs dans tous les journaux.
3. Analyse des données sensibles : Les journaux sont analysés à la recherche de données sensibles à l’aide du scanner de données sensibles. Des règles de détection Cloud SIEM sont également mises en œuvre pour détecter les menaces et les attaques.
4. Suivi des erreurs et détection des anomalies : Les problèmes de suivi des erreurs et les informations de surveillance de la détection des anomalies sont créés à partir de journaux à des fins de dépannage et de surveillance.
5. Queue en direct : Tous les journaux ingérés et traités peuvent être recherchés dans Live Tail.
6. Génération de métriques : Avant d’indexer ou de stocker les journaux, n’importe quel ensemble de journaux peut être utilisé pour générer des métriques à des fins d’analyse et de surveillance.
7. Indexation et stockage : Les journaux nécessaires quotidiennement pour les recherches basées sur les facettes peuvent être indexés à l’aide d’index. Les journaux nécessaires ponctuellement peuvent être attribués occasionnellement au niveau Flex. Les journaux inutiles peuvent être exclus à l’aide des filtres d’exclusion.
8. Transfert et archivage des journaux : Les journaux importants qui ne sont pas nécessaires quotidiennement mais qui doivent être conservés en cas d’incidents peuvent être transmis vers des archives externes (stockage cloud) et des destinations personnalisées à l’aide du transfert de journaux. Ces journaux peuvent être récupérés et indexés selon les besoins en réhydratant à partir des archives. Les journaux réhydratés ne sont pas affectés par les filtres d’exclusion dans les index.

La journalisation sans limites enregistre l’ingestion du chemin d’indexation.

Gestion des journaux – Tableau de bord d’utilisation estimée

Une fois les journaux ingérés dans votre compte Datadog, le tableau de bord Gestion des journaux – Utilisation estimée est automatiquement configuré.

Ce tableau de bord intégré résume les mesures d’utilisation de vos journaux, y compris des aperçus des éléments suivants :

1. Volumes de journaux ingérés, indexés et exclus : Aperçu du volume total de journaux traités, indexés ou exclus.
2. Statistiques de traitement des journaux : Métriques sur la manière dont les journaux sont traités par les pipelines.
3. Volumes de transfert de journaux et d’admission : Détails sur les activités de transfert de journaux et le volume de journaux ingérés.

Le tableau de bord prêt à l’emploi de gestion des journaux – Utilisation estimée.

Création et gestion d’index de journaux pour une optimisation des coûts et une gestion efficace des données

Les index de journaux offrent un contrôle précis sur votre budget de gestion des journaux en vous permettant de segmenter les données en différents groupes de valeurs. Cette segmentation vous permet d’appliquer différentes périodes de conservation, de définir des quotas quotidiens, de surveiller l’utilisation et de gérer efficacement la facturation.

Datadog suggère d’utiliser plusieurs index lorsque vous en avez besoin :

1. Différentes périodes de conservation pour diverses données de journal.
2. Séparez les quotas quotidiens pour obtenir un contrôle budgétaire plus fin.

Création d’index

1. Par défaut, chaque nouveau compte reçoit un seul index (principal) représentant un ensemble monolithique de tous vos journaux. Le filtre dans cet index est *. Tous les journaux ingérés sont archivés dans le principal indice.
2. Vous pouvez créer un index pour n’importe quel sous-ensemble de journaux ingérés en utilisant des balises et des attributs des données de journal pour créer la requête de filtre. Pour chaque index, vous pouvez définir la période de conservation, le quota quotidien, l’heure de réinitialisation, ainsi que le seuil d’avertissement, comme indiqué dans l’image ci-dessous.
   

   L’éditeur Nouvel index a été rempli pour créer un index pour les journaux stockés.
3. Les noms d’index doivent commencer par une lettre et ne peuvent inclure que des lettres minuscules, des chiffres ou le caractère « – ». Les journaux filtrés dans un index se voient attribuer une balise basée sur le nom de l’index. Dans l’exemple, tous les journaux passés dans cet index se verront attribuer la balise datadog_index:storedog car le nom de l’index est storedog.
4. Les filtres d’index fournissent un contrôle dynamique sur quels journaux sont acheminés vers quel index. Dans l’exemple, tous les journaux avec la balise env:logs-course seront envoyés dans l’index storedog.
5. Le paramètre de conservation de l’index détermine la durée pendant laquelle les journaux sont stockés et consultables dans Datadog. Par défaut, 15 jours est la seule période de conservation disponible. Vous devrez contacter Customer Success, success@datadoghq.compour que d’autres périodes de conservation soient disponibles dans le compte Datadog de votre organisation.
6. Vous pouvez définir un quota quotidien pour limiter strictement le nombre de journaux stockés dans un index par jour. Une fois le quota quotidien atteint, les journaux ne sont plus indexés mais sont toujours disponibles dans Live Tail, envoyés à vos archives et utilisés pour générer des métriques à partir des journaux.

Ordre des index

Lorsque vous créez des index, veillez à déplacer tous les index au-dessus de l’index principal par défaut et à les classer selon vos besoins. L’ordre des index dans la liste des index est important ! Dans l’exemple ci-dessous, l’index stocké a été déplacé au-dessus de l’index principal afin que tous les journaux qui correspondent au filtre de l’index stocké soient filtrés dans cet index tandis que tous les autres journaux sont filtrés dans l’index principal. Si l’index principal était supérieur à l’index storedog, tous les journaux stockés seraient filtrés dans l’index principal.

L’index storedog est répertorié au-dessus de l’index principal.

Interrogation d’index

Vous pouvez effectuer une requête sur un ou plusieurs index dans Log Explorer à l’aide de la facette Index.

storedog est répertorié sous la facette Index dans l’explorateur de journaux.

Configuration des filtres d’exclusion de journaux pour une gestion efficace des index

1. Par défaut, les index de journaux n’ont pas de filtres d’exclusion, ce qui signifie que tous les journaux correspondant au filtre d’index sont indexés. Cependant, vous pouvez ajouter des filtres d’exclusion aux index pour contrôler quels journaux doivent être exclus, car tous les journaux n’ont pas la même valeur.
2. Les journaux exclus ne sont pas indexés mais circulent toujours via Live Tail, peuvent être utilisés pour générer des métriques et peuvent être archivés. Le quota d’indexation s’applique uniquement aux journaux indexés, pas à ceux exclus.
3. Les filtres d’exclusion sont définis par une requête, une règle d’échantillonnage et une bascule actif/inactif.
   1. La requête par défaut est *, ce qui signifie que tous les journaux entrant dans l’index seront exclus. Pour affiner les journaux à exclure, vous devrez ajouter une requête de filtre spécifique.
   2. La règle d’échantillonnage par défaut est Exclure 100 % de tous les journaux correspondant à la requête. Vous pouvez régler le taux d’échantillonnage entre 0 % et 100 %. Vous pouvez également décider si le taux d’échantillonnage s’applique à tous les journaux filtrés ou à des regroupements de journaux définis par les valeurs uniques de n’importe quel attribut.
      

      L’éditeur « Ajouter un filtre d’exclusion à l’index : storedog » a été rempli pour créer le filtre pour les journaux de service du serveur Web avec le statut ok.

   3. La position de bascule par défaut est active. Les journaux circulant dans l’index sont supprimés conformément à la configuration du filtre d’exclusion. Lorsque la bascule est désactivée, le filtre est ignoré.
      

      Le nouveau filtre d’exclusion est répertorié pour l’index storedog.

Meilleures pratiques d’indexation et de gestion des données de journaux afin d’optimiser les coûts et les performances

En général, tenez compte de ces points lorsque vous déterminez si vous devez indexer, adapter ou archiver les journaux provenant de différentes sources :

• Lorsque vous disposez de volumes incroyablement élevés (de millions à milliards) du même journal, vous n’avez pas besoin de les conserver tous.
  • Appliquez des stratégies d’échantillonnage qui garantissent que vous indexez suffisamment de journaux pour une représentation précise de ces journaux.
• Tous les journaux ne sont pas créés égaux.
  • Par exemple, ne stockez/indexez pas vos journaux de débogage, sauf si vous pensez que cela est nécessaire.
• « Ne courez pas après la queue » – appliquez la « règle des 80/20 » à vos optimisations et configurations d’index

Conclusion

Datadog Log Management dissocie l’ingestion et l’indexation des journaux avec Logging without Limits pour vous aider à gérer les coûts. Vous pouvez demander à Datadog d’ingérer et de traiter tous les journaux de toutes vos sources de journaux. Vous pouvez également gérer les périodes de conservation et les devis quotidiens pour les journaux indexés pour un contrôle plus précis des coûts. Quels que soient les journaux que vous stockez, indexez ou supprimez, vous pouvez utiliser les règles de détection Live Tail, Generate Metrics et Cloud SIEM sur tous les journaux ingérés.

VOUS TROUVEZ CECI UTILE ? PARTAGEZ-LE