Discussion :

[DJ2809]

Bonjour à tous,
Je fais appel à vos lumières pour résoudre une problématique liée à l'export de données à partir d'une API dont le code généré est en php.Je m'explique :
J'ai une API : https://bbmc.ouhsc.edu/redcap/api/
token : 9A81268476645C4E5F03428B8AC3AA7B
l'API dispose d'une fonctionnalité pour générer un code php pour exporter les données en csv (en pièce jointe)
Seriez-vous comment utiliser ce code pour intégrer les données dans base de donnée mysql en local (127.0.0.1:35) ?
Je ne sais pas comment m'y prendre
En vous remerciant par avance
DE

[Séb.]

Tu dis que l'API génère du PHP (et pas un simple CSV, bizarre)

Donne-nous le PHP généré et dis-nous ce qui te bloque

[DJ2809]

C'est le fichier en PJ que j'ai envoyé. C'est fichier php qui permet une extraction en csv
Cdlt

[mathieu]

si vous cherchez des tutoriels pour utiliser une base de données en php, regardez les premiers liens là :
https://php.developpez.com/cours/

[Séb.]

C'est le fichier en PJ que j'ai envoyé. C'est fichier php qui permet une extraction en csv

Bon, je suppose
– que le script PHP joint est censé appeler l'API
– que l'API renvoie un CSV (et non du PHP)
– que tu veux insérer le CSV en base

Du moins d'habitude on procède ainsi.

Après avoir récupéré la réponse de l'API tu peux utiliser str_getcsv() pour analyser le CSV et utiliser PDO pour faire les INSERT SQL.

[laurentSc]

Bonjour,
j'ai récupéré le fichier PHP (exportdata.php) (j'ai supprimé l'espace dans le nom car il ne faut jamais mettre d'espace). Ce code utilise curl, techno que je maîtrise pas du tout. Néanmoins, j'ai vu qu'un des paramètres est l'URL de l'API que tu donnes au post #1. J'y ai rajouté la fonction conseillée par Séb., ce qui donne :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
<?php
$data = array(
    'token' => '9A81268476645C4E5F03428B8AC3AA7B',
    'content' => 'record',
    'format' => 'csv',
    'type' => 'flat',
    'rawOrLabel' => 'raw',
    'rawOrLabelHeaders' => 'raw',
    'exportCheckboxLabel' => 'false',
    'exportSurveyFields' => 'false',
    'exportDataAccessGroups' => 'false',
    'returnFormat' => 'csv'
);
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://bbmc.ouhsc.edu/redcap/api/');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_VERBOSE, 0);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_MAXREDIRS, 10);
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'POST');
curl_setopt($ch, CURLOPT_FRESH_CONNECT, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($data, '', '&'));
$output = curl_exec($ch);
print $output;
curl_close($ch);
 
$data = str_getcsv($output);
 
var_dump($data);

Ca génère un tableau ($data) de 145 lignes. Pour insérer ces 145 données dans une bdd MySql, il faudrait disposer d'une (ou plusieurs) table(s) et comme le conseille aussi Séb. le faire avec PDO. Maîtrises tu cette techno et as tu ces tables ?

[DJ2809]

Bonjour,
Merci Seb, merci Laurent!
Franchement je ne maîtrise pas vraiment PDO encore moins le langage .. plutôt des requêtes simples, basiques !!
J’ai une BDD mysql ( pedmen) avec une table (Tab1)
Faut il exécuter dans phpmyadmin dans l’onglet requête ? Ou à partir d’un terminal ?
Merci encore
DE

[laurentSc]

Faut il exécuter dans phpmyadmin dans l’onglet requête ?

Ceci te permettra de mettre au point, et tester la requête, mais pour exécuter celle-ci, il faudra le coder en PHP (et le mieux étant de le faire en PDO).
Moi, j'utiliserais même pour faire ça la classe PDOPLUSPLUS https://github.com/rawsrc/PDOPlusPlus ou en français mais pas à jour : https://www.developpez.net/forums/bl...dutiliser-pdo/
Mais tuto pour rester en PDO : https://www.developpez.net/forums/bl...pdo-soupe-lit/

Donne la structure de la table Tab1 (faire un export depuis phpMyAdmin) et on pourra te proposer un code d'insertion dans la bdd (je peux essayer mais Séb. ou mathieu sont bien plus forts que moi).

[DJ2809]

Merci ++++ Laurent. Voici l'export de la tab1 qui contient quelques variables à l'image de l'API.
Bonne soirée
DE

[laurentSc]

OK,
vu les données contenues dans $data (mentionné au post #6), il y a dedans plein de données qui ne correspondent pas à cette table tab1, néanmoins j'ai vu ce qui pourrait constituer 5 enregistrements dans la table tab1. Je peux essayer demain de te proposer un code en PDO pour insérer ces 5 enregistrements dans la table tab1. Ca irait ?

[Séb.]

Avant d'aller plus loin il vaut mieux :
– Changer le nom de la base de données en évitant le - (à la limite utilise un _ à la place)
– Donner un vrai nom à ta table "tab1"
– Utiliser le moteur InnoDB et pas MyISAM qui est obsolète depuis... +15 ans
– Utiliser le charset utf8mb4 au lieu de latin1

et il manque un d à "adress", qui n'a peut-être pas besoin d'être un LONGTEXT

[DJ2809]

Bonjour,
J'ai suivi les conseils de Seb :

– Changer le nom de la base de données en évitant le - (à la limite utilise un _ à la place) =====> my_bd
– Donner un vrai nom à ta table "tab1" ====================================> extraction
– Utiliser le moteur InnoDB et pas MyISAM qui est obsolète depuis... +15 ans=============> InnoDB
– Utiliser le charset utf8mb4 au lieu de latin1=================================> utf8mb4-bin

et il manque un d à "adress", qui n'a peut-être pas besoin d'être un LONGTEXT============> address (Varchar)

En PJ la table
Merci encore
Bonne journée

[laurentSc]

Bonjour,

intéressé par le sujet, j'ai mis au point (et testé) une solution qui fonctionne (du moins avec le CSV généré par l'API ; j'ai supposé que sa structure est toujours la même et si ce n'est pas le cas, ça marchera pas). Même si je suis convaincu de l'intérêt de la classe PDOPLUSPLUS, je l'ai fait avec le PDO standard (et avec une requête préparée). Par contre, je suis persuadé que ce ne serait pas t'aider que te donner le code. Ca sera bien plus formateur si tu essayes par toi-même de trouver une solution et qu'on te guide. Donc, on attend tes essais.

[DJ2809]

Bonjour,
En effet, je d'accord sur le principe, vous m'avez mis sur les bonnes rails, je vais tenter de mon coté de creuser le sujet ..
Très bonne journée à vous
DE

[escartefigue]

Avant d'aller plus loin il vaut mieux :
– Changer le nom de la base de données en évitant le - (à la limite utilise un _ à la place)
– Donner un vrai nom à ta table "tab1"
– Utiliser le moteur InnoDB et pas MyISAM qui est obsolète depuis... +15 ans
– Utiliser le charset utf8mb4 au lieu de latin1

et il manque un d à "adress", qui n'a peut-être pas besoin d'être un LONGTEXT

En effet, qui plus est :

• l'adresse courriel sur 45 caractères c'est insuffisant.
  
  Il faut prévoir 64 caractères pour la partie locale (ce qui précède le caractère @)
  et 253 caractères pour la deuxième partie. Voir ICI
• il est recommandé d'externaliser le nom du domaine. Ainsi, si un nom de domaine change, il n'y qu'une seule ligne à modifier au lieu d'avoir à le faire pour tous les utilisateurs d'un même domaine.
• la codification des adresses est normée (6x38 caractères) .Voir ICI .
• si une personne peut avoir plusieurs adresses (c'est assez courant, par exemple une adresse de livraison différente de l'adresse postale), alors il faut modéliser une table adresse ayant pour FK l'identifiant de la personne.
• MyISAM est une bouse qui ne gère pas l'intégrité référentielle (les contraintes FK sont gérées comme des commentaires ). Une véritable hérésie, à fuir comme la peste !
• concernant le jeu de caractères, UTF8MB4 ne se justifie pas forcément, son encombrement est supérieur à celui des autres charsets, à voir selon le besoin

[laurentSc]

@escartefigue :
J'ai essayé de tenir compte de vos remarques pour produire une nouvelle bdd ; pour cela, j'ai créé un MCD avec Looping, ce qui donne :

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
CREATE TABLE t_DOM_domain(
   DOM_ident INT UNSIGNED AUTO_INCREMENT,
   DOM_name_domain VARCHAR(253),
   PRIMARY KEY(DOM_ident)
);
 
CREATE TABLE t_ADR_address(
   ADR_ident INT UNSIGNED AUTO_INCREMENT,
   ADR_address VARCHAR(50),
   PRIMARY KEY(ADR_ident)
);
 
CREATE TABLE t_LOCADR_local_mail(
   LOCADR_ident INT UNSIGNED AUTO_INCREMENT,
   LOCADR_local_address VARCHAR(64),
   PRIMARY KEY(LOCADR_ident)
);
 
CREATE TABLE t_PERS_personne(
   PERS_ident INT UNSIGNED AUTO_INCREMENT,
   PERS_firstname VARCHAR(35),
   PERS_lastname VARCHAR(35),
   dob DATE,
   DOM_ident INT UNSIGNED,
   LOCADR_ident INT UNSIGNED,
   PRIMARY KEY(PERS_ident),
   FOREIGN KEY(DOM_ident) REFERENCES t_DOM_domain(DOM_ident),
   FOREIGN KEY(LOCADR_ident) REFERENCES t_LOCADR_local_mail(LOCADR_ident)
);
 
CREATE TABLE host(
   PERS_ident INT UNSIGNED,
   ADR_ident INT UNSIGNED,
   PRIMARY KEY(PERS_ident, ADR_ident),
   FOREIGN KEY(PERS_ident) REFERENCES t_PERS_personne(PERS_ident),
   FOREIGN KEY(ADR_ident) REFERENCES t_ADR_address(ADR_ident)
);

Qu'est-ce que cela vaut ?

@DJ8209 :
Tu sembles partir d'assez loin. Donc procède pas à pas et montre ici tes avancées pour recueillir des avis. Je serais toi, je commencerais par mettre au point la bdd, comme je l'ai fait ; la première étape étant la création d'un modèle conceptuel de données (MCD). Pour le créer, je te recommandes le logiciel gratuit Looping : https://www.looping-mcd.fr. Sachant que finalement, il vaut mieux créer plusieurs tables qu'une seule, le code PHP d'insertion sera plus complexe.

[DJ2809]

Bonsoir Laurent,
Merci beaucoup pour ces précieux conseils ..je vais les mettre en pratique. En effet, je vais élaborer ma bdd comme cela.
Merci encore
Bonne soirée

[laurentSc]

j'ai découvert ce logiciel l'an dernier, ainsi que la modélisation (les MCD). Le logiciel, un bijou, facile à prendre en main. Paprick en est à l'origine. Il a écrit un livre très bien pour les débutants (que j'étais) : https://www.looping-mcd.fr/img/livre.jpg. Dans DVP, un forum lui est consacré : https://www.developpez.net/forums/f2...utils/looping/
Bon courage.

[escartefigue]

@escartefigue :
J'ai essayé de tenir compte de vos remarques pour produire une nouvelle bdd ; pour cela, j'ai créé un MCD avec Looping, ce qui donne

Qu'est-ce que cela vaut ?

Bonjour Laurent

Ce modèle ne convient pas, le domaine doit être associé non pas à l'utilisateur, mais à l'adresse courriel.

Dans le contexte présent, il semble qu'on ait une table unique présentant toutes les colonnes issues d'une extraction de différentes données de différentes tables, un modèle à plat donc.
Si c'est bien le cas, on se contentera d'une colonne unique de 64+1+253 caractères, soit 318 caractères pour contenir toute l'adresse courriel, nom de domaine inclus. Et d'une colonne unique de 5*38 caractères (lignes 2 à 6 de l'adresse), soit 190 caractères pour contenir toute l'adresse postale. La ligne 1 de l'adresse postale étant composée de la civilité et du nom de la personne.

Dans un contexte plus général, surtout si un utilisateur peut posséder plusieurs adresses courriel ou plusieurs adresses postales (de résidence, de livraison, de facturation...), le bon modèle conceptuel ressemblera à ceci :



Note : sauf si le projet s'inscrit dans un contexte international, il n'y aucun intérêt à nommer les objets base de données en anglais. C'est la raison pour laquelle dans l'exemple ci-dessus, les noms d'entité et d'association sont en français, ainsi que leurs attributs.

[laurentSc]

Merci pour votre réponse escartefigue,

pour bien comprendre votre MCD (y a peut-être 1 colonne sur 2 que je ne comprends pas), pourriez-vous donner un exemple d'enregistrement pour chaque table ? (j'utilise les termes du SQL)