Une solution sans serveur sans code / bas code pour le traitement de flux

Le traitement par flux est un mécanisme permettant de traiter une très grande quantité de données en temps réel. Par exemple, imaginez une compagnie d'assurance automobile qui souhaite facturer à son client la distance parcourue quotidiennement, vous devrez traiter de nombreuses données de localisation à partir d'une énorme flotte de véhicules.

Ou imaginez un pays qui souhaite mettre en place un Système de diagnostic COVID-19 basé sur les symptômes signalés en temps réel.

Ce type de traitement est devenu standardisé et très accessible grâce à des piles technologiques comme Kafka ainsi qu'à des offres sans serveur de fournisseurs de cloud.

Par exemple, Amazon Kinesis est un service de streaming de données en temps réel évolutif et durable. Pour plus d'informations, voir Amazon Kinesis Data Streams .

Corticon.js est un moteur de règles sans code / low-code et cloud natif qui permet aux utilisateurs professionnels de créer des services de décision pouvant être déployés sans serveur. les fonctions. En savoir plus sur Corticon.js ici .

Dans ce blog, nous verrons comment la combinaison de ces deux technologies vous offre de grands avantages. Nous utiliserons, à titre d'exemple, un service de décision qui traite les dossiers des patients de soins de santé pour déterminer à la fois la probabilité qu'une personne ait le COVID-19 ainsi que le niveau de risque du patient et, sur la base de ces résultats, notifier, en temps réel, un fournisseur de soins de santé. [19659007] Pourquoi utiliseriez-vous ces deux technologies?

Il y a plusieurs raisons, entre autres:

1. Le débit des données entrantes est élevé et variable. Il y aura des rafales lorsque de nombreux dossiers de patients arriveront et à d'autres moments, le taux ralentira. Le flux Kinesis se chargera de recevoir les enregistrements et de les rendre disponibles pour le traitement des décisions. Si beaucoup de données arrivent et que le backend ne peut pas les traiter immédiatement, le flux stockera les enregistrements automatiquement pour vous.
2. Le traitement des données est découplé de l'écriture des données dans le flux (également appelée ingestion de données).
3. ] Plus important encore, vous voulez permettre aux spécialistes d’entreprise de créer et de maintenir les règles sur la façon de traiter les dossiers de santé, car le projet doit être prêt «hier» et votre backlog est déjà plus que complet.

   En utilisant une règle basée service de décision sans serveur sans code comme Corticon.js, vous gagnez en productivité car le processeur des enregistrements (le consommateur de flux dans le jargon Kinesis) est créé directement par le spécialiste métier.

4. Et surtout, vous gagnerez en agilité car le même utilisateur professionnel pourra ajuster les règles très rapidement au fur et à mesure que l'entreprise évoluera sans les allers-retours coûteux et chronophages qui sont typiques entre les utilisateurs professionnels et les programmeurs.

   Vous êtes en eeing vos précieuses ressources de programmation pour vous concentrer sur la sécurité et l'évolutivité de la solution.

5. Mais cela ne s'arrête pas là, vous gagnez encore plus d'agilité car l'utilisateur métier n'a pas besoin d'être formé à aucune des technologies cloud . Vous pouvez donc démarrer plus rapidement et sans frais supplémentaires. Nous verrons dans l'une des sections suivantes comment cela fonctionne.

À qui s'adresse ce blog?

Ce blog est destiné aux architectes et aux concepteurs d'applications cloud car il montre un modèle qui peut être utilisé pour améliorer l'actuel ou le futur architecture et conception du cloud. Il est également utile pour les intégrateurs de tels systèmes car nous comprendrons comment un service de décision sans code peut être intégré dans le traitement de flux.

Dans les sections suivantes, nous verrons à quel point il est simple de créer un flux de données et configurer un service de décision sans serveur à partir des règles.

Création du flux Kinesis

Il s'agit d'une tâche assez simple à partir de la console AWS.

Vous sélectionnez Kinesis dans la liste des services et cliquez sur le bouton Créer

01. const payload = [];

02.

03. event.Records.forEach ( function (record) {

04. // Les données Kinesis sont encodées en base64 donc décodez-les avant de les ajouter à la charge utile

05. const oneRecord = Buffer.from (record.kinesis.data, 'base64' ). toString ( 'ascii' );

06 . [19659003] 07. payload.push (JSON.parse (oneRecord));

08. }); [19659002] 09.

10. const body = {root: payload};