Dans le monde actuel axé sur les données, le stockage dans le cloud n’est plus facultatif : il est essentiel. Les organisations s’appuient sur des plateformes comme Amazone S3 pour la durabilité, l’évolutivité et la rentabilité. Avec prise en charge d’objets jusqu’à 5 ToS3 est devenu l’épine dorsale des flux de travail d’échange de données, d’analyse et ETL.
Mais déplacer des fichiers volumineux entre les systèmes et S3 peut s’avérer difficile. Les interruptions du réseau, les délais d’attente et les limites de mémoire entravent souvent la fluidité des transferts. C’est là que le Connecteur REST autonome Progress DataDirect (ARC) intervient.
Pourquoi AWS S3 est important
AWS S3 est bien plus qu’un simple stockage ; c’est une couche stratégique pour :
- Pipelines de données: Agir en tant qu’intermédiaire pour le déplacement de données en masse
- Flux de travail d’analyse: Stockage de grands ensembles de données pour les processus BI et ETL
- Intégrations OEM: Permettre un échange de données évolutif et sécurisé entre les systèmes
Quoi de neuf dans le connecteur JDBC REST autonome Progress DataDirect ?
Le connecteur JDBC REST autonome Progress DataDirect prenait déjà en charge le téléchargement et le téléchargement de fichiers vers S3, mais les transferts étaient auparavant limités à 2 Go en raison de contraintes de mémoire. Avec nos dernières améliorations, DataDirect ARC prend en charge chargement et téléchargement en plusieurs partiesrendant les transferts de fichiers volumineux transparents et plus fiables.
Principales fonctionnalités
- Téléchargement partitionné: divise automatiquement les fichiers de plus de 100 Mo en parties et les télécharge en parallèle, conformément aux meilleures pratiques AWS
- Téléchargement en plusieurs parties: utilise des requêtes de plage d’octets pour télécharger des fichiers par morceaux, permettant une récupération efficace d’objets jusqu’à 5 To
- Taille de morceau configurable: affine les performances à l’aide de la nouvelle propriété de connexion, FileTransferPartSize
- Gestion robuste des erreurs: Logique des tentatives et journalisation détaillée pour une visibilité opérationnelle
Comment ça marche
Vous pouvez configurer cette fonctionnalité en utilisant :
Ce que cela signifie pour vous
Le Connecteur offre aux organisations comme la vôtre :
- Évolutivité: Déplace des fichiers jusqu’à 5 To sans goulots d’étranglement de mémoire
- Fiabilité: Réduit le risque d’échec grâce à la possibilité de tentatives via des opérations en plusieurs parties
- Intégration: exploite S3 pour un échange de données robuste dans les solutions OEM qui intègrent DataDirect ARC
En reliant les API REST et le stockage cloud, Progress DataDirect ARC renforce sa position de connecteur polyvalent pour l’architecture de données moderne. Apprendre encore plus.
Aussi, regardez ce webinaire pour en savoir plus sur la façon de connecter n’importe quelle source de données REST à l’aide du connecteur REST autonome Progress DataDirect.
Source link