Importation de données Salesforce dans Amazon S3 via le pilote JDBC

Le didacticiel suivant montre comment utiliser les pilotes JDBC Progress DataDirect Salesforce pour importer les données de Salesforce dans le moteur de stockage S3.

AWS Data Pipeline est un service Web qui vous permet de traiter, transformer et déplacer les données en toute sécurité entre AWS Storage et les services de calcul à intervalles réguliers. En plus de cela, il existe également une fonctionnalité intéressante qui vous permet de vous connecter à n'importe quelle base de données avec le pilote JDBC et d'importer les données dans S3 que vous pouvez utiliser plus tard pour les déplacer entre les services de calcul ou de stockage dans AWS.

Ce didacticiel explique comment tirer parti du Progress DataDirect Salesforce JDBC Driver pour importer les données de Salesforce dans le moteur de stockage S3 avec un minimum d'effort et en créant un pipeline que vous pouvez essentiellement réutiliser plusieurs fois. [19659004] Configuration

1. Téléchargez les pilotes JDBC Salesforce Progress DataDirect à partir de ici et installez-les sur votre ordinateur. Si vous avez besoin d'aide pour installer les pilotes sur votre ordinateur, visitez ce lien pour obtenir une documentation détaillée.
2. Inscrivez-vous à Amazon Web Services en visitant ce lien .
3. Créez un compartiment Amazon S3 à partir de la console AWS en ouvrant la console Amazon S3 à ce lien .
4. Ensuite, téléchargez le pilote Salesforce JDBC ( sforce.jar ) qui se trouve dans install_directory Progress DataDirect Connect_for_JDBC_51 lib sur votre compartiment S3 nouvellement créé.

Création du pipeline de données

1. Depuis votre console AWS, accédez à la console Data Pipeline et cliquez sur le bouton «Créer un nouveau pipeline».
2. Remplissez le Nom de votre choix, sélectionnez Source comme "Construire à l'aide de l'architecte ", choisissez votre programme que vous souhaitez exécuter ce pipeline, choisissez l'emplacement pour enregistrer les journaux sur votre compartiment S3 et laissez les autres options par défaut. A la fin du formulaire, cliquez sur le bouton "Editer dans Architect " pour créer le flux de données. Par défaut, vous devriez voir le pipeline suivant.

   

3. Ajoutez un nouveau nœud de données SQL, en cliquant sur le bouton Ajouter. Allez dans sa configuration et cliquez sur le menu déroulant "Ajouter un champ facultatif" et sélectionnez "Base de données ". Vous devriez voir un nouveau composant de base de données dans votre pipeline.
4. Cliquez sur le composant de base de données et vous devriez voir sa configuration. Configurez-le comme ci-dessous:
   • Type: « JDBC Database ».
   • Nom d'utilisateur:
   • Mot de passe:
   • Chaîne de connexion: jdbc: datadirect: sforce: //login.salesforce.com ;; securitytoken =
   • Classe de pilote JDBC: com .ddtek.jdbc.sforce.SForceDriver
   • JDBC Driver Jar Uri: s3: // /path/sforce.jar
5. Revisitez le nœud de données SQL que vous avez créé ci-dessus et configurez-le comme suit. Pour les besoins du didacticiel, je récupère les données de la table Account dans S3.
   • Tableau: SFORCE.ACCOUNT
   • Sélectionnez la requête: SELECT * FROM SFORCE.ACCOUNT
6. Ensuite, ajoutez un S3DataNode . Configurez-le comme suit. Le chemin du fichier est l'emplacement du fichier sur votre compartiment S # où les données lues via Salesforce JDBC sont enregistrées.
   • Type: S3DataNode
   • Chemin du fichier: s3: // / chemin / .csv
7. Ajoutez maintenant un CopyActivity et configurez-le comme suit:
   • Type: CopyActivity
   • Entrée: que vous avez configuré ci-dessus
   • Sortie: que vous avez configuré ci-dessus
   • S'exécute sur: . Cela créera un nouveau composant de ressource dans le flux de travail.
8. Accédez au composant de ressource nouvellement créé et configurez-le comme suit:
   • Type: ressource EC2
     • Lorsque vous le modifiez en ressource EC2, vous devriez voir le rôle de la ressource et le rôle remplis aux valeurs par défaut
9. Enregistrez le pipeline et vous ne devriez voir aucune erreur. S'il y en a, ils seront affichés en bas de l'écran. Résolvez-les avant de continuer. Votre pipeline final doit ressembler à la capture d'écran ci-dessous.

Activer le pipeline de données

Une fois le pipeline enregistré sans aucune erreur, vous pouvez l'activer. En fonction de la planification que vous avez configurée, le pipeline doit s'exécuter et créer un fichier CSV contenant les données de la table des comptes lues à partir des pilotes JDBC DataDirect Salesforce. Il doit être présent dans le chemin que vous avez configuré dans S3DataNode.

Nous espérons que ce didacticiel vous a aidé à importer des données Salesforce dans Amazon S3 à l'aide d'Amazon Data Pipeline, que vous pouvez utiliser pour les importer dans divers services Amazon Compute. Cette démonstration ne se limite pas à Salesforce. En fait, vous pouvez créer Amazon Data Pipeline avec l'un des pilotes DataDirect JDBC pour connecter et importer des données à partir de plus de 50 sources de données, y compris vos sources SaaS, relationnelles et Big data préférées.

] Essai gratuit pendant 30 jours