intégrer des données dans BDD MYSQL

Bonjour à tous,
Je fais appel à vos lumières pour résoudre une problématique liée à l'export de données à partir d'une API dont le code généré est en php.Je m'explique :
J'ai une API : https://bbmc.ouhsc.edu/redcap/api/
token : 9A81268476645C4E5F03428B8AC3AA7B
l'API dispose d'une fonctionnalité pour générer un code php pour exporter les données en csv (en pièce jointe)
Seriez-vous comment utiliser ce code pour intégrer les données dans base de donnée mysql en local (127.0.0.1:35) ?
Je ne sais pas comment m'y prendre
En vous remerciant par avance
DE

Tu dis que l'API génère du PHP (et pas un simple CSV, bizarre)

Donne-nous le PHP généré et dis-nous ce qui te bloque

C'est le fichier en PJ que j'ai envoyé. C'est fichier php qui permet une extraction en csv
Cdlt

si vous cherchez des tutoriels pour utiliser une base de données en php, regardez les premiers liens là :
https://php.developpez.com/cours/

Citation:

---

Envoyé par DJ2809

C'est le fichier en PJ que j'ai envoyé. C'est fichier php qui permet une extraction en csv

---

Bon, je suppose
– que le script PHP joint est censé appeler l'API
– que l'API renvoie un CSV (et non du PHP)
– que tu veux insérer le CSV en base

Du moins d'habitude on procède ainsi.

Après avoir récupéré la réponse de l'API tu peux utiliser str_getcsv() pour analyser le CSV et utiliser PDO pour faire les INSERT SQL.

Bonjour,
j'ai récupéré le fichier PHP (exportdata.php) (j'ai supprimé l'espace dans le nom car il ne faut jamais mettre d'espace). Ce code utilise curl, techno que je maîtrise pas du tout. Néanmoins, j'ai vu qu'un des paramètres est l'URL de l'API que tu donnes au post #1. J'y ai rajouté la fonction conseillée par Séb., ce qui donne :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

<?php $data = array( 'token' => '9A81268476645C4E5F03428B8AC3AA7B', 'content' => 'record', 'format' => 'csv', 'type' => 'flat', 'rawOrLabel' => 'raw', 'rawOrLabelHeaders' => 'raw', 'exportCheckboxLabel' => 'false', 'exportSurveyFields' => 'false', 'exportDataAccessGroups' => 'false', 'returnFormat' => 'csv' ); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'https://bbmc.ouhsc.edu/redcap/api/'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch, CURLOPT_VERBOSE, 0); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); curl_setopt($ch, CURLOPT_AUTOREFERER, true); curl_setopt($ch, CURLOPT_MAXREDIRS, 10); curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'POST'); curl_setopt($ch, CURLOPT_FRESH_CONNECT, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($data, '', '&')); $output = curl_exec($ch); print $output; curl_close($ch);   $data = str_getcsv($output);   var_dump($data);

---

Ca génère un tableau ($data) de 145 lignes. Pour insérer ces 145 données dans une bdd MySql, il faudrait disposer d'une (ou plusieurs) table(s) et comme le conseille aussi Séb. le faire avec PDO. Maîtrises tu cette techno et as tu ces tables ?

Bonjour,
Merci Seb, merci Laurent!
Franchement je ne maîtrise pas vraiment PDO encore moins le langage .. plutôt des requêtes simples, basiques !!
J’ai une BDD mysql ( pedmen) avec une table (Tab1)
Faut il exécuter dans phpmyadmin dans l’onglet requête ? Ou à partir d’un terminal ?
Merci encore
DE

Citation:

---

Envoyé par DJ2809

Faut il exécuter dans phpmyadmin dans l’onglet requête ?

---

Ceci te permettra de mettre au point, et tester la requête, mais pour exécuter celle-ci, il faudra le coder en PHP (et le mieux étant de le faire en PDO).
Moi, j'utiliserais même pour faire ça la classe PDOPLUSPLUS https://github.com/rawsrc/PDOPlusPlus ou en français mais pas à jour : https://www.developpez.net/forums/bl...dutiliser-pdo/
Mais tuto pour rester en PDO : https://www.developpez.net/forums/bl...pdo-soupe-lit/

Donne la structure de la table Tab1 (faire un export depuis phpMyAdmin) et on pourra te proposer un code d'insertion dans la bdd (je peux essayer mais Séb. ou mathieu sont bien plus forts que moi).

Merci ++++ Laurent. Voici l'export de la tab1 qui contient quelques variables à l'image de l'API.
Bonne soirée
DE

OK,
vu les données contenues dans $data (mentionné au post #6), il y a dedans plein de données qui ne correspondent pas à cette table tab1, néanmoins j'ai vu ce qui pourrait constituer 5 enregistrements dans la table tab1. Je peux essayer demain de te proposer un code en PDO pour insérer ces 5 enregistrements dans la table tab1. Ca irait ?

Avant d'aller plus loin il vaut mieux :
– Changer le nom de la base de données en évitant le - (à la limite utilise un _ à la place)
– Donner un vrai nom à ta table "tab1"
– Utiliser le moteur InnoDB et pas MyISAM qui est obsolète depuis... +15 ans
– Utiliser le charset utf8mb4 au lieu de latin1

et il manque un d à "adress", qui n'a peut-être pas besoin d'être un LONGTEXT

Bonjour,
J'ai suivi les conseils de Seb :

– Changer le nom de la base de données en évitant le - (à la limite utilise un _ à la place) =====> my_bd
– Donner un vrai nom à ta table "tab1" ====================================> extraction
– Utiliser le moteur InnoDB et pas MyISAM qui est obsolète depuis... +15 ans=============> InnoDB
– Utiliser le charset utf8mb4 au lieu de latin1=================================> utf8mb4-bin

et il manque un d à "adress", qui n'a peut-être pas besoin d'être un LONGTEXT============> address (Varchar)

En PJ la table
Merci encore
Bonne journée

Bonjour,

intéressé par le sujet, j'ai mis au point (et testé) une solution qui fonctionne (du moins avec le CSV généré par l'API ; j'ai supposé que sa structure est toujours la même et si ce n'est pas le cas, ça marchera pas). Même si je suis convaincu de l'intérêt de la classe PDOPLUSPLUS, je l'ai fait avec le PDO standard (et avec une requête préparée). Par contre, je suis persuadé que ce ne serait pas t'aider que te donner le code. Ca sera bien plus formateur si tu essayes par toi-même de trouver une solution et qu'on te guide. Donc, on attend tes essais.

Bonjour,
En effet, je d'accord sur le principe, vous m'avez mis sur les bonnes rails, je vais tenter de mon coté de creuser le sujet ..
Très bonne journée à vous
DE

Citation:

---

Envoyé par Séb.

Avant d'aller plus loin il vaut mieux :
– Changer le nom de la base de données en évitant le - (à la limite utilise un _ à la place)
– Donner un vrai nom à ta table "tab1"
– Utiliser le moteur InnoDB et pas MyISAM qui est obsolète depuis... +15 ans
– Utiliser le charset utf8mb4 au lieu de latin1

et il manque un d à "adress", qui n'a peut-être pas besoin d'être un LONGTEXT

---

En effet, qui plus est :

• l'adresse courriel sur 45 caractères c'est insuffisant.
  
  Il faut prévoir 64 caractères pour la partie locale (ce qui précède le caractère @)
  et 253 caractères pour la deuxième partie. Voir ICI
• il est recommandé d'externaliser le nom du domaine. Ainsi, si un nom de domaine change, il n'y qu'une seule ligne à modifier au lieu d'avoir à le faire pour tous les utilisateurs d'un même domaine.
• la codification des adresses est normée (6x38 caractères) .Voir ICI .
• si une personne peut avoir plusieurs adresses (c'est assez courant, par exemple une adresse de livraison différente de l'adresse postale), alors il faut modéliser une table adresse ayant pour FK l'identifiant de la personne.
• MyISAM est une bouse qui ne gère pas l'intégrité référentielle (les contraintes FK sont gérées comme des commentaires :aie:). Une véritable hérésie, à fuir comme la peste !
• concernant le jeu de caractères, UTF8MB4 ne se justifie pas forcément, son encombrement est supérieur à celui des autres charsets, à voir selon le besoin

@escartefigue :
J'ai essayé de tenir compte de vos remarques pour produire une nouvelle bdd ; pour cela, j'ai créé un MCD avec Looping, ce qui donne :

Pièce jointe 619313

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

CREATE TABLE t_DOM_domain( DOM_ident INT UNSIGNED AUTO_INCREMENT, DOM_name_domain VARCHAR(253), PRIMARY KEY(DOM_ident) );   CREATE TABLE t_ADR_address( ADR_ident INT UNSIGNED AUTO_INCREMENT, ADR_address VARCHAR(50), PRIMARY KEY(ADR_ident) );   CREATE TABLE t_LOCADR_local_mail( LOCADR_ident INT UNSIGNED AUTO_INCREMENT, LOCADR_local_address VARCHAR(64), PRIMARY KEY(LOCADR_ident) );   CREATE TABLE t_PERS_personne( PERS_ident INT UNSIGNED AUTO_INCREMENT, PERS_firstname VARCHAR(35), PERS_lastname VARCHAR(35), dob DATE, DOM_ident INT UNSIGNED, LOCADR_ident INT UNSIGNED, PRIMARY KEY(PERS_ident), FOREIGN KEY(DOM_ident) REFERENCES t_DOM_domain(DOM_ident), FOREIGN KEY(LOCADR_ident) REFERENCES t_LOCADR_local_mail(LOCADR_ident) );   CREATE TABLE host( PERS_ident INT UNSIGNED, ADR_ident INT UNSIGNED, PRIMARY KEY(PERS_ident, ADR_ident), FOREIGN KEY(PERS_ident) REFERENCES t_PERS_personne(PERS_ident), FOREIGN KEY(ADR_ident) REFERENCES t_ADR_address(ADR_ident) );

---

Qu'est-ce que cela vaut ?

@DJ8209 :
Tu sembles partir d'assez loin. Donc procède pas à pas et montre ici tes avancées pour recueillir des avis. Je serais toi, je commencerais par mettre au point la bdd, comme je l'ai fait ; la première étape étant la création d'un modèle conceptuel de données (MCD). Pour le créer, je te recommandes le logiciel gratuit Looping : https://www.looping-mcd.fr. Sachant que finalement, il vaut mieux créer plusieurs tables qu'une seule, le code PHP d'insertion sera plus complexe.

Bonsoir Laurent,
Merci beaucoup pour ces précieux conseils ..je vais les mettre en pratique. En effet, je vais élaborer ma bdd comme cela.
Merci encore
Bonne soirée

j'ai découvert ce logiciel l'an dernier, ainsi que la modélisation (les MCD). Le logiciel, un bijou, facile à prendre en main. Paprick en est à l'origine. Il a écrit un livre très bien pour les débutants (que j'étais) : https://www.looping-mcd.fr/img/livre.jpg. Dans DVP, un forum lui est consacré : https://www.developpez.net/forums/f2...utils/looping/
Bon courage.

Citation:

---

Envoyé par laurentSc

@escartefigue :
J'ai essayé de tenir compte de vos remarques pour produire une nouvelle bdd ; pour cela, j'ai créé un MCD avec Looping, ce qui donne

Qu'est-ce que cela vaut ?

---

Bonjour Laurent

Ce modèle ne convient pas, le domaine doit être associé non pas à l'utilisateur, mais à l'adresse courriel.

Dans le contexte présent, il semble qu'on ait une table unique présentant toutes les colonnes issues d'une extraction de différentes données de différentes tables, un modèle à plat donc.
Si c'est bien le cas, on se contentera d'une colonne unique de 64+1+253 caractères, soit 318 caractères pour contenir toute l'adresse courriel, nom de domaine inclus. Et d'une colonne unique de 5*38 caractères (lignes 2 à 6 de l'adresse), soit 190 caractères pour contenir toute l'adresse postale. La ligne 1 de l'adresse postale étant composée de la civilité et du nom de la personne.

Dans un contexte plus général, surtout si un utilisateur peut posséder plusieurs adresses courriel ou plusieurs adresses postales (de résidence, de livraison, de facturation...), le bon modèle conceptuel ressemblera à ceci :

Pièce jointe 619331

Note : sauf si le projet s'inscrit dans un contexte international, il n'y aucun intérêt à nommer les objets base de données en anglais. C'est la raison pour laquelle dans l'exemple ci-dessus, les noms d'entité et d'association sont en français, ainsi que leurs attributs.

Merci pour votre réponse escartefigue,

pour bien comprendre votre MCD (y a peut-être 1 colonne sur 2 que je ne comprends pas), pourriez-vous donner un exemple d'enregistrement pour chaque table ? (j'utilise les termes du SQL)

Bonjour,
Comme vous avez pu le constater, l’extraction est un fichier plat dans le cadre de ce projet. C’est une API avec un token mise en ligne par une université US, dans le but de tester l’extraction des données avec différentes méthodes ( php , Talend..) Les enregistrements seront figés dans le temps, une ligne =patient, les adresses restent inchangées dans le temps. Cela étant, en règle générale, vous avez raison sur le fond, il faut partir sur plusieurs tables.
Il existe d’autres projets , avec plusieurs tables ( traitements, biopsies , rechutes .) .ou en effet la conceptualisation est inéluctable. ( avec des cardinalités 1—n)
Merci à vous
Bonne soirée

Citation:

---

Envoyé par DJ2809

Bonjour,
Comme vous avez pu le constater, l’extraction est un fichier plat dans le cadre de ce projet.

---

C'est bien comme ça que je l'avais compris, il faut donc augmenter la taille de certaines colonnes comme l'adresse postale et l'adresse courriel et ne pas tenir compte des cardinalités ni de ma réponse à LaurentSC ci-après ;)

Citation:

---

Envoyé par laurentSc

Merci pour votre réponse escartefigue,

pour bien comprendre votre MCD (y a peut-être 1 colonne sur 2 que je ne comprends pas), pourriez-vous donner un exemple d'enregistrement pour chaque table ? (j'utilise les termes du SQL)

---

Voici un exemple de contenu (PK soulignées, FK suffixées #)

PE_personne
PE_ident =0020 -- PK de type attribué par le SGBD (auto_incrément pour MySQL, identity pour DB2 ou SQL server etc.)
PE_nom = dupond
PE_prenom = géraldine
PE_ddn = 1985-06-12 -- date de naissance

PE_ident =0044
PE_nom = delgado
PE_prenom = jose
PE_ddn = 1962-11-25


CL_courriel (géraldine dupond possède une seule adresse courriel alors que josé delgado en possède deux)
PE_ident # = 0020 -- à cause de l'identification relative, la PK de la table PE_personne participe à la PK de CL_courriel
CL_seqn = 0001 -- c'est la première (et la seule) adresse courriel de Mme Dupond (numéro de séquence =1)
CL_valeur = gdupont30 -- début de l'adresse courriel
CL_principal = 1 -- adresse courriel principale de Mme Dupond
DM_ident#=3 -- qui pointe sur le domaine d'identifiant 3

PE_ident # = 0044 -- idem, la PK de PE_personne participe à la PK de CL_courriel
CL_seqn = 0001 -- c'est la première adresse courriel de M. Delgado
CL_valeur = gdupont30 -- début de l'adresse courriel
CL_principal = 0 -- adresse courriel secondaire de M. Delgado
DM_ident#=1 -- qui pointe sur le domaine d'identifiant 1, c'est à dire orange.fr

PE_ident # = 0044
CL_seqn = 0002 -- c'est la deuxième adresse courriel de M. Delgado
CL_valeur = gdupont30
CL_principal = 1 -- adresse courriel principale de M. Delgado
DM_ident#=3 -- qui pointe sur le domaine d'identifiant 3, c'est à dire google.fr


DM_domaine
DM_ident = 1 PK de type attribué par le SGBD (auto_incrément pour MySQL, identity pour DB2 ou SQL server etc.)
DM_code = ORAN code domaine (en général, pour les typologies, on utilise un attribut code avec une contrainte unique)
DM_nom = orange.fr

DM_ident = 2
DM_code = YAHO
DM_nom = yahoo.fr

DM_ident = 3
DM_code = GOOG
DM_nom = google.fr


AD_adresse géraldine dupond possède deux adresses alors que josé delgado n'en a qu'une seule
PE_ident # = 0020 -- à cause de l'identification relative, la PK de la table PE_personne participe à la PK de AD_adresse
AD_seqn = 0001 -- c'est la première adresse Mme Dupond
AD_ligne2 = batiment B, escalier A
AD_ligne3 = 24 rue du général De Gaule
AD_ligne4 = -- vide (inutilisée)
AD_ligne5 = -- vide (inutilisée)
VI_ident# = 4 -- foreign key permettant de faire le lien avec la ville (Vesoul)
YA_ident#= 1 -- foreign key permettant de faire le lien avec le type d'adresse (1=adresse principale)

PE_ident # = 0020
AD_seqn = 0003 -- c'est la deuxième adresse de Mme Dupond, elle porte la séquence 3, car la 2 a été supprimée ou jamais "commitée"
AD_ligne2 = Appartement 622
AD_ligne3 = 26 bis rue du cardinal Lemoine
AD_ligne4 = Les Clairvaux
AD_ligne5 = -- vide (inutilisée)
VI_ident# = 1 -- foreign key permettant de faire le lien avec la ville (Colmar)
YA_ident#= 3 -- foreign key permettant de faire le lien avec le type d'adresse (3=adresse de livraison)

PE_ident # = 0044
AD_seqn = 0001 -- c'est la seule adresse de M. Delgado
AD_ligne2 = 102 rue Jean Moulin
AD_ligne3 = -- vide (inutilisée)
AD_ligne4 = -- vide (inutilisée)
AD_ligne5 = -- vide (inutilisée)
VI_ident# = 2 -- foreign key permettant de faire le lien avec la ville (Angers)
YA_ident#= 1 -- foreign key permettant de faire le lien avec le type d'adresse (1=adresse principale)


YA_type_adr typologies des adresses
YA_ident = 1
YA_code = PRIN
YA_libelle = adresse principale

YA_ident = 2
YA_code = FACT
YA_libelle = adresse de facturation

YA_ident = 3
YA_code = LIVR
YA_libelle = adresse de livraison


VI_ville -- une même commune peut avoir plusieurs code postaux (auquel cas plusieurs lignes dans la table)
VI_ident = 1
VI_insee= 68066 -- code insee
VI_cdpos = 68000 -- code postal
VI_ville = colmar

VI_ident = 2
VI_insee= 49007 -- code insee
VI_cdpos = 49000 -- code postal
VI_ville = angers

VI_ident = 3
VI_insee= 12020-- code insee
VI_cdpos = 12000 -- code postal
VI_ville = rodez

VI_ident = 4
VI_insee= 70550-- code insee
VI_cdpos = 70000 -- code postal
VI_ville = vesoul


Note : je me rend compte que j'ai donné le même nom VI_ville à l'entité-type (et donc la table qui en résulte) et à la colonne libellé, c'est une erreur.

VI_libelle pour la colonne serait préférable.