Catalogues - Configurer un connecteur OpenDataSoft (ODS)
Dans ce tutoriel, nous allons découvrir comment configurer un connecteur OpenDataSoft (ODS) pour importer des données et des métadonnées dans Data Fair. Cela vous permettra d'importer des données depuis divers portails OpenDataSoft, tels que celui de la Caisse des Dépôts, le portail des données du ministère de l'Économie, des Finances et de l'Industrie, ainsi que celui du ministère chargé du Budget et des Comptes publics, ou encore le portail Ameli.
Dans ce cours, nous allons importer un jeu de données depuis le portail OpenDataSoft disponible à l'adresse suivante : https://data.opendatasoft.com. Pour ce faire, vous devrez :
- Créer votre catalogue
- Importer le jeu de données
- Planifier une mise à jour automatique
1-Créer votre catalogue
Les connecteurs de catalogues permettent de lister l'ensemble des jeux de données d'un catalogue distant pour les importer sur votre compte Data Fair.
Les connecteurs sont configurables sur la page catalogue.
- Page des connecteurs
- Créer votre connecteur
Après avoir cliqué sur le bouton pour créer votre connecteur [2], vous êtes redirigé vers la page de choix du catalogue distant.
Pour notre cours, nous allons choisir le catalogue ODS (OpenDataSoft).
Une fois le catalogue ODS sélectionné, vous êtes invité à choisir le propriétaire du connecteur si vous appartenez à plusieurs organisations ou départements.
Ensuite, remplissez les informations concernant votre catalogue, notamment le titre du catalogue [1] et l'adresse du portail [2] auquel vous souhaitez vous connecter.
Dans notre exemple, nous avons utilisé l'adresse suivante : https://data.opendatasoft.com.
Pour finaliser votre connecteur, cliquez sur le bouton Créer.
Votre connecteur au portail https://data.opendatasoft.com est alors disponible.
Nous allons importer un jeu de données.
2- Importer un jeu de données
L'import d'un jeu de données est réaliser en quelque clics, le téléchargement dépendra de la taille du fichier et du temps de réponse de l'API du portail distant.
Sur la page des imports de votre nouveau connecteur, cliquez sur le bouton pour créer un nouvel import
Vous êtes redirigé vers la liste des jeux de données disponibles sur le portail distant, qui comprend plus de 40 000 jeux de données sur https://data.opendatasoft.com.
Nous allons effectuer une recherche sur la ville de Nantes [1] et sélectionner le jeu de données des Subventions versées aux associations en 2018 par la Ville de Nantes [2]. Une fois le jeu de données sélectionné, cliquez sur le bouton Suivant [3].
Pour cette dernière étape, vous avez la possibilité de filtrer les colonnes du jeu de données à importer, de filtrer les lignes par valeur d'une colonne ou de planifier une mise à jour automatique.
Ces étapes ne seront pas abordées dans ce chapitre, vous pouvez donc cliquer sur le bouton Importer.
L'import se lance au moment de cliquer sur le bouton importer. L'import peut etre assez long si vous avez choisir un fichier de plusieurs Mo ou Go.
Une fois l'import términé, les étapes d'execution[1] sont disponibles sur la page.
Les boutons pour acceder au jeu de données sur Data Fair [2] et ainsi que la page du jeu de données sur le portail distant [3] sont disponibles.
Le jeu de données que vous avez importé sur Data Fair est disponible après la phase de finalisation.
Les données et certaines métadonnées telles que le titre, la description et les mots-clés ont été importées.
3- Planifier une mise à jour automatique
Nous allons configurer une mise à jour automatique à intervalles réguliers, toutes les heures précisément. Cela permettra de maintenir les données constamment à jour sans intervention manuelle.
Si votre jeu de données est volumineux, son indexation sur Data Fair peut prendre plus d'une heure. Par conséquent, les données ne pourront pas être mises à jour toutes les heures par le connecteur. Dans ce cas, veuillez nous contacter.
Cliquez sur le bouton de plannification et renseignez les informations suivantes :
Sur l'image, nous avons planifié la mise à jour comme suit :
- Toutes les heures
- Intervalle d'une heure et à la 55e minute
Le bouton crayon [3] vous permet de finaliser l'édition de la planification et d'enregistrer.
Avec cette planification, le jeu de données sera mis à jour toutes les heures à la 55e minute.
La planification s'est bien déroulée et le dernier import a été réalisé à 11h55.
Si vous avez des remarques sur ce cours, n'hésitez pas à nous les communiquer.