Chargement des données JSON dans Snowflake du répertoire local / blogs / perficient

Dans le monde d’aujourd’hui, il existe différents formats de données tels que des données traditionnelles, non structurées, brutes et semi-structurées et se chargez dans le système cible. Les données semi-structurées sont souvent utilisées dans les applications Web, les capteurs IoT et API. Les clients utilisent le format JSON principalement pour obtenir les données car il est facile à comprendre.
Flocon de neige
Snowflake est un entrepôt de données cloud qui aide à charger différents types de données et format de données. Il peut automatiquement augmenter / baisser ses ressources calculées pour charger des données d’intégration. Les flocons de neige n’utilisent aucun physique ou matériel. Snowflake gère une infrastructure de cloud public.
Json
JSON est un format textuel qui utilise la paire de valeurs de clé, et il est facilement accessible. La syntaxe est conçue pour être facile à lire et à écrire pour les humains.

Pourquoi utilisons-nous JSON?
1. Simplicité et lisibilité:
La syntaxe JSON est assez simple. Il est facile à lire car il représente la valeur clé
2.Iltweight:
Il s’agit d’un format textuel, plus grand que les autres formats comme XML qui peuvent conduire à un transfert et un stockage de données plus rapides.
3. Fichiers de configuration:
Principalement une utilisation JSON dans la configuration également et c’est un format facilement lisible
4. Échange de données:
JSON prend en charge l’échange de données entre différents logiciels et systèmes.
5. Type de données JSON:
Snowflake utilise un type de données variant pour charger les données JSON car il s’agit de données semi-structurées

Dans ce blog, nous utiliserons deux méthodes pour charger les données JSON (Sales.json) dans Snowflake du répertoire local
Et JSON aimerait être:

{"location": {"state_city": "MA-Lexington","zip": "40503"},"sale_date": "2017-3-5","price": "275836"}
{"location": {"state_city": "MA-Belmont","zip": "02478"},"sale_date": "2017-3-17","price": "392567"}
{"location": {"state_city": "MA-Winchester","zip": "01890"},"sale_date": "2017-3-21","price": "389921"}


1. Données JSON à charge directe dans Snowflake (aucune étape impliquée):
   Dans Snowflake, nous devons créer des données, un schéma et une base de données pour calculer les données comme ci-dessous:
   

Et Snowflake fournit une installation pour charger le fichier directement dans la table car il est disponible dans les étapes ci-dessous à suivre: les étapes ci-dessous:

Cliquez sur Télécharger les fichiers locaux

Parcourez le fichier que vous souhaitez charger dans la table

Cliquez sur Suivant

Puis chargez les données dans le tableau

Étape 2:
Chargez les données JSON par étape interne:

Étage interne:
L’étape interne dans Snowflake aide à charger les données en interne. Il ne nécessite aucune intégration du cloud à l’extérieur.

Vous trouverez ci-dessous les étapes pour charger le fichier JSON à l’étape interne:

1. Créez le format de fichier comme ci-dessous:
   

2. Créer une étape comme ci-dessous
   
   3.Put le fichier dans la scène
   Pour exécuter le METTRE Commande dans Snow SQL
   Veuillez passer par le lien pour installer Snow SQL (Neige)
   Ajoutez un fichier dans la scène via la commande put comme ci-dessous:
   Mettez la syntaxe comme ci-dessous
   Mettre le fichier: // Chemin du fichier @stage_name
   Put File: // C: \ Temp \ Load \ Sales.json @ JSON_DATA_STAGE;
   Une fois exécuté la commande de put dans Snowflake:
   
   Pour vérifier le chargement des fichiers dans la scène ci-dessous: requête:
   list @ load_json_database.load_json_schema.json_data_stage;
   
   Copier les données dans la table cible:

Chargement directement dans la table:

Définition du tableau comme ci-dessous:

Créer ou remplacer la table Load_json_database.load_json_schema.json_data (variant_col variant);

Créez une table avec des noms de colonne dans la neige:
Créer ou remplacer la table Load_json_database.load_json_schema.json_data_sales (
City Varchar, State Varchar, Zip Varchar, Sale_Date Date, Price int);
Copier les données dans la table:

Note:

1 $ utiliser pour sélectionner une colonne unique où le JSON a stocké

Comment récupérer les données JSON via la requête sélectionnée:
1. Notation des points et du côlon:
Comme c’est JSON en JSON, il montre donc le résultat ci-dessous:

Si vous souhaitez récupérer les données en une seule colonne, utilisez la requête ci-dessous

Dans l’image ci-dessus, obtenez des valeurs comme au format String mais si nous voulons récupérer dans le type de données réel. Utilisez un casting explicite comme ci-dessous la requête comme:

2Aplatir en JSON:
L’aplatissement est le processus pour diviser le tableau ou l’objet dans le format colonnel

Veuillez passer par un lien pour savoir sur aplatir (APLATIR)


3. Méthode de remise:
Nous pouvons également obtenir des valeurs de JSON à partir de Get Method et utiliser ci-dessous la requête comme:

Conclusion:
SnowFlake prend en charge différents formats de données à charger dans les tableaux et JSON est la forme de base des données, car aujourd’hui, de nombreux clients utilisent en raison de la valeur facile à comprendre et de la paire de clés. Pour récupérer les données JSON, Snowflake fournit différentes approches et si un tableau ou un objet dans JSON, nous utilisons l’aplatissement et l’obtention de la méthode. Et nous pouvons charger les données par la coulée explicite des valeurs.