4 conseils pour traiter les données en temps réel

Le traitement des données en temps réel est une capacité essentielle pour presque toutes les entreprises et organisations. Il sous-tend des services tels que la gestion de l'identité, la prévention de la fraude, les transactions financières, les moteurs de recommandation, la gestion de la relation client et la surveillance des médias sociaux. C'est également le fondement de l'analyse prédictive, de l'intelligence artificielle (IA) et de l'apprentissage automatique (ML).

Défis de mise à l'échelle des données en temps réel

Le défi pour de nombreuses organisations consiste à faire évoluer les ressources en temps réel de manière à réduire les coûts tout en augmentant les revenus. Plusieurs facteurs rendent une telle mise à l'échelle difficile :

Exigences sur site pour les données sensibles

Une approche à envisager consiste à migrer les données vers le cloud public. Le cloud est attrayant car il réduit les dépenses d'investissement en échange de dépenses d'exploitation flexibles en fonction des besoins dynamiques d'une entreprise. Le cloud prend également en charge une mise à l'échelle rapide.

Cependant, les frais de transfert de données peuvent s'accumuler rapidement et toutes les données ne sont pas appropriées pour le cloud. Pour se conformer aux réglementations gouvernementales et/ou aux politiques de sécurité internes, les organisations peuvent trouver nécessaire de sécuriser les données sensibles sur site. De la même manière, une entreprise peut décider de conserver ses données les plus critiques (allant des dossiers financiers aux fichiers d'ingénierie) à l'endroit où elle peut le mieux protéger ces données.

Ainsi, les équipes doivent pouvoir stocker, traiter et gérer les données en temps réel dans leurs propres centres de données. Ils ont besoin d'une solution qui réduit les coûts, simplifie la gestion et évolue rapidement. Et ils doivent être en mesure de transformer ces données en revenus plus rapidement que la concurrence.

Créer un environnement évolutif et rentable

Ces quatre conseils peuvent vous aider à créer un environnement évolutif et rentable pour le traitement des données sur site ou en périphérie.

1. Intégrez une base de données NoSQL avec Kafka et Spark :Pour les organisations disposant d'une base de données de plus de 5 To et devant traiter un volume élevé de données en temps réel, envisagez de déployer une base de données NoSQL aux côtés d'autres outils en temps réel tels que Kafka et Spark.
2. Faites correspondre les composants de votre serveur à votre cas d'utilisation : Pour que le logiciel prenant en charge votre base de données obtienne les meilleures performances en temps réel à grande échelle, vous avez également besoin du bon matériel de serveur. À grande échelle, la mémoire du serveur (DRAM) est coûteuse et consomme de plus en plus d'énergie. Il nécessite également des disques durs pour fournir un stockage fiable à long terme. De nouvelles options de mémoire persistante de serveur (PMem) sont disponibles qui correspondent à la vitesse de la DRAM mais sont moins coûteuses et conservent les données pendant une coupure de courant.
3. Augmenteretmise à l'échelle: Généralement, les systèmes sont conçus pour évoluer (par exemple, ajouter plus de ressources à un serveur ou à un nœud existant) ou pour évoluer (par exemple, augmenter le nombre de serveurs ou de nœuds). Idéalement, le traitement des données en temps réel nécessite une base de données, une solution matérielle et logicielle qui peut à la fois évoluer et évoluer.
4. Utilisez la distribution intelligente des données pour réduire la latence tout en augmentant la résilience : À mesure que les grappes de traitement se développent, il est important d'éviter les « points chauds ». Des points chauds surviennent lorsqu'une partie d'un cluster est requise/utilisée plus fréquemment que d'autres ressources. Cela entraîne des goulots d'étranglement et une dégradation globale des performances du cluster. Une technologie telle que l'équilibrage de charge garantit que toutes les ressources d'un cluster effectuent approximativement la même quantité de travail. Répartir la charge de cette manière réduit la latence et élimine les goulots d'étranglement. La distribution intelligente permet également la création de clusters qui s'étendent sur plusieurs centres de données, augmentant ainsi la résilience.

Des résultats réels pour des données en temps réel

Dell Technologies a travaillé avec Aerospike pour accélérer le traitement des données en temps réel. Aerospike fournit des solutions qui éliminent les compromis entre hautes performances, évolutivité, cohérence et faible coût total des opérations.

Par exemple, Aerospike permet l'utilisation du stockage flash en parallèle pour effectuer des lectures avec une latence inférieure à la milliseconde. Cela prend en charge le débit très élevé (100K à 1M) nécessaire pour les charges d'écriture lourdes pendant le traitement en temps réel. En utilisant une architecture de mémoire hybride avec un index purement en mémoire, Aerospike peut réaliser une mise à l'échelle verticale à un coût total de possession 5 fois inférieur à celui d'une implémentation de mémoire à accès aléatoire (RAM) de serveur pur. Ainsi, l'architecture de stockage peut être optimisée en termes de performances et d'évolutivité.

En outre, l'architecture « rien partagé » d'Aerospike prend en charge la gestion algorithmique des clusters combinée à la réplication globale entre centres de données pour prendre en charge des capacités de filtrage complexe, de routage dynamique et d'auto-rétablissement. Cela permet aux systèmes de récupérer rapidement des événements indésirables tout en maintenant les performances, ce qui en fait la solution idéale pour le traitement des données en temps réel critiques.

Les organisations à grande échelle qui déploient un traitement efficace des données en temps réel pour obtenir des résultats exceptionnels incluent :

• Pay Pal: Prévention de la fraude aux paiements numériques en temps réel – 30 fois moins de faux positifs
• Charles Schwab: Réduction du risque de trading intrajournalier à très grande échelle – de 150 serveurs à 12
• LexisNexis: Sécurisation des identités numériques mondiales à grande échelle – latence réduite de 100 millisecondes à 30 millisecondes
• Wayfair: Recommandations hyper-personnalisées – 1/8 d'empreinte serveur.

Le traitement des données en temps réel ne fera que devenir plus essentiel pour les entreprises au fil du temps. Avec la bonne technologie, les entreprises peuvent surmonter les défis actuels des données en temps réel pour améliorer leur agilité, leur efficacité et leur rentabilité globales. Et en investissant dans des solutions matérielles et logicielles qui fonctionnent ensemble pour fournir des performances optimales, les environnements de traitement de données en temps réel continueront à évoluer et à évoluer dans les années à venir.

Pour un aperçu détaillé de la façon dont la bonne technologie peut aider à transformer les données en temps réel de votre organisation en revenus, consultez les 4 conseils pour le traitement des données en temps réelpapieret regarder leséminaire en ligne.

***

Les technologies Intel® font avancer l'analytique

L'analyse des données est la clé pour débloquer le maximum de valeur que vous pouvez extraire des données de votre organisation. Pour créer une stratégie d'analyse productive et rentable qui donne des résultats, vous avez besoin d'un matériel hautes performances optimisé pour fonctionner avec le logiciel que vous utilisez.

L'analyse de données moderne couvre une gamme de technologies, des plates-formes et bases de données d'analyse dédiées à l'apprentissage en profondeur et à l'intelligence artificielle (IA). Vous débutez avec l'analytique ? Prêt à faire évoluer votre stratégie d'analyse ou à améliorer la qualité de vos données ? Il y a toujours de la place pour évoluer et Intel est prêt à vous aider. Avec un vaste écosystème de technologies d'analyse et de partenaires, Intel accélère les efforts des data scientists, des analystes et des développeurs dans tous les secteurs. En savoir plus surAnalyses avancées d'Intel.