Discussion :

[Cdic83]

Bonjour,
je dois pour le compte d'un projet "aspirer" le contenu de de 4 000 000 d'élément via une API REST et l'insérer en base de données.

J'ai le tableau des url à appeler mais j'aimerais savoir qu'elle est la meilleure approche selon voit pour faire : appel curl (ou autre) + insertion en base dans une boucle tout en garantissant de ne pas passer à la requête suivante sans avoir terminé de traiter la précédente.

Si vous aviez déjà été confronté à ce cas de figure et si vous aviez des recommandations, je suis preneur. A ce jour je n'ai jamais fait de traitement asynchrone en PHP (uniquement un curl procédural... )

Merci d'avance !

[CinePhil]

"API REST" et "curl" sont des mots exotiques pour moi mais je pense que la meilleure façon d'insérer des données en masse est de le faire en une fois avec une requête LOAD DATA INFILE à partir d'un fichier texte délimité (CSV) et ensuite de répartir ces données dans les différentes tables de la BDD structurée.

J'ai le tableau des url à appeler

Si tu as 4 millions d'urls, mets les dans un fichier texte puis lance une requête LOAD DATA INFILE.

S'il s'agit d'aspirer le contenu de 4 millions d'urls pour les injecter dans une BDD structurée, c'est déjà plus compliqué et il faudra nous exepliquer davantage ton processus et ce que tu veux stocker en BDD.

[grunk]

Je pense que la piste de CinePhil qui consiste à utiliser LOAD DATA INFILE est la bonne.

En principe ton service REST répond à une demande , donc tu es en mesure de savoir si tu as eu une réponse à une requête avant de demander la suivante.

Donc je ferais quelques chose comme ça (c'est du pseudo code évidemment) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$dataCompleted = true;
foreach($urls as $url)
{
	$datas = get_from_curl($url); // Appel au webservice
	if($datas !== false)
	{
		insert_data_into_file($datas);
	}
	else
	{
		//Logguer l'url qui pose problème et arréter le traitement
		$dataCompleted = false;
		break;
	}
}
 
if($dataCompleted)
	Import Mysql depuis le fichier crée

Donc créer un fichier que tu rempli aufur et à mesure que tu recois les données du webservice. Puis une fois le fichier complet tu l'importes dans ton sgbd