Exécution script UPDATE

Version imprimable

Bonjour à tous,
J'ai un petit souci avec mon script php. En fait je souhaite mettre à jour une base avec des donnée d'une autre base. Comme je travaille sous Mysql 3.23, je suis obligé de faire deux requetes. La premiere récupère les valeurs à insérer, la seconde les insère. Voici le script :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 <html> <body> <? $connexion = mysql_connect(localhost, "user"); $db=mysql_select_db("ma_base", $connexion); $requete=mysql_query("SELECT * FROM table1;"); $row=mysql_fetch_object($requete); $i=1; while ($row=mysql_fetch_object($requete)) { $query=mysql_query("UPDATE table2 SET champ2='".$row->champ1."' WHERE ID='".$row->ID."';"); echo $i."<br>"; $i=$i+1; } ?> </body> </html>
Le souci c'est qu'en fait, au bout d'un moment, j'ai une erreur 500 me disant qu'il est impossible d'afficher la page. A votre avis, est ce que cela viens du fait que j'essai de mettre à jour environ 80000 lignes ? Est ce trop pour php ? Merci pour vos réponses

04/01/2007, 16h54
xave

Ce que tu peux faire pour être sûr que ce n'est pas un problème de temps d'exécution du script, c'est placer cette ligne dans ton script php:

Code:

set_time_limit(0);
04/01/2007, 16h59
griese

et ça fais quoi ?
04/01/2007, 17h16
Dia_FR

ça enlève la limite de temps d'exécution du script
04/01/2007, 17h17
griese

Ah d'accord, mais est-ce qu'il existe une limite de temps avec Apache ?
04/01/2007, 17h24
Dia_FR

y a un timeout pour Apache

mais la fonction que t'indique xave est une fonction PHP, elle modifie temporairement (pour le script) la directive max_execution_time de php.ini
04/01/2007, 17h33
griese

Ok donc il faut que je modifie le timeout de Apache. Je vais regardé ça de plus près. Merci pour votre aide ;)
04/01/2007, 18h18
Dia_FR

mais non, faut pas modifier le timeout de Apache

faut utiliser la fonction que xave t'indique... pourquoi tu vas chercher des trucs compliqués ? :p
essaie avec ce qu'il te conseille
04/01/2007, 20h24
Antoun

Limite le nombre de ligne de ta requête de lecture :

Code:

$requete=mysql_query("SELECT * FROM table1 LIMIT 5;");

Comme ça, tu verras tout de suite si ton script fonctionne sur un petit volume, ou s'il y a un autre problème.
05/01/2007, 09h19
griese

Merci je vais essayé avec la Limit sur ma requete. Mais pour info j'ai testé la fonction php pour désactiver le timeout mais ca n'a rien changé. Voila pourquoi j'ai voulu modifié le timeout d'Apache ;) (Mais ca n'a rien changé non plus :cry: )
05/01/2007, 11h04
toddy_101

est ce que tu as essayé de limiter le nombre d'elements à inserer??
05/01/2007, 11h15
griese
Alors j'ai essayé avec une limite de 5, et ça à fonctionner mais il m'as mit 148 lignes à jours 8O ! Il y'a surement des doublons mais à ce point ! Du coup je l'ai relancé plusieurs fois mais je n'ai toujours que 148 lignes qui sont modifiés. Du coup j'ai modifié ma première requete :
Code:

1 2 SELECT * FROM table1 LEFT JOIN table2 ON table1.champ1=table2.champ2 WHERE table2.id IS NULL GROUP BY id LIMIT 10
Afin que ne soit pas les meme ID qui soit pris à chaque fois dans ma requete mais ca ne change rien
05/01/2007, 13h24
xave

Ouh là... tu limites à 5 et tu a 148 changements... y a problème quelque part! :aie:

Je te recommande vivement de faire un echo de chacune de tes requetes et de bien vérifier ce qu'elles font, il doit y avoir quelque chose.

D'autre part, si tu utilises set_time_limit(0), tu n'as plus à te soucier d'un quelconque timeout.
Avec cette fonction, je fais des dumps de plusieurs centaines de milliers d'enregistrements sur ma base MySQL sans aucun problème.

Donc, comme ça t'a été conseillé, garde ta limite à 5 pour l'instant et vérifie chacune de tes requêtes.

En cas de besoin, tu sais où nous trouver. ;)
05/01/2007, 13h46
griese

Bah oui c'est ce que je me dit :koi: En plus a chaque UPDATE, j'affiche un compteur qui est incrémenté a chaque requete ce qui me permet de savoir combien de fois il execute la requete. Mais la du coup il s'arrete à 4 :aie: . J'y comprend plus rien. Bon je vais retenter le coup. Mais je pose une question. La table sur laquelle je fais le UPDATE contient environ 3 000 000 de lignes. Ca viens peut etre de la, elle trop grande ? J'ai vu que php utilise un buffer et moi il est 8M, faudrait peut être le modifié, qu'en pensez-vous ?
05/01/2007, 14h11
xave

Non, le fait qu'il te modifie 148 enregistrements au lieu de 5 n'a rien à voir avec le fait que tu ai 3 000 000 de lignes dans ta table.

Par contre que ton compteur s'arrête à 4, ça c'est bon signe, c'est qu'il te limite bien les requêtes à 5.

La question maintenant est de savoir si tu as vraiment tant de doublons que ça dans ta table (auquel cas, je te recommande un grand nettoyage!) ou si tes requêtes touchent des enregistrements qu'elles ne devraient pas, d'où l'étude des requêtes en passant par echo ;)
05/01/2007, 14h16
griese

Bah en fait les doublons dans ma table peuvent etre normal en fait. Mais quand tu me dis de faire un echo, je fais une echo $rquery dans ma boucle ?
05/01/2007, 14h44
xave

Oui, fais

Code:

echo $query."<br>";

dans ta boucle (oublie pas de limiter ta boucle à 5) et vérifie les requetes qu'il t'affiche (et quisont donc envoyées à ta base) pour déterminer s'il est normal ou non que ça te modifie autant d'enregistrements (doublons ou prédicat mal adapté).
05/01/2007, 15h02
griese

D'accord merci, je test ça et je te tiens au courant, merci beaucoup ;)
05/01/2007, 15h28
griese

J'ai fait ce que tu m'as dit et il me retourne un 1 à chaque fois. Est-ce normal. De plus, je fais un

Code:

SELECT FULL PROCESSIST

sur mon serveur mysql et je vois bien les requetes UPDATE passé. Donc elle se font bien mais j'ai l'impression qu'il écrase juste les données qu'il a déjà écrit. Je vais faire mon enquête
05/01/2007, 15h37
griese

Une question sur les limites. Il est possible de lui de ne prendre que les résultats de 10 à 20 par exemple et non pas les dix premiers mais les dix suivants ?
05/01/2007, 15h38
xave
Ah... petite méprise: là tu fais sans doute un echo du résultat de la requete or moi ce que je te recommandais c'étais de visualiser la requête envoyée au serveur.
C'est aussi ma faute je pensais que tu faisais
Code:

1 2 3 $query="insert into ....."; $result_query=mysql_query($query) or die...;
:roll: :?

Et donc la oui, il aurait bien fallu faire un echo de $query...
05/01/2007, 15h40
xave

Citation:

Envoyé par griese

Une question sur les limites. Il est possible de lui de ne prendre que les résultats de 10 à 20 par exemple et non pas les dix premiers mais les dix suivants ?

Essaie avec

Code:

limit 10,10

pour avoir les résultats de 10 à 20 comme ton exemple.
05/01/2007, 16h01
griese

Merci beaucoup je vais tester. Là je test le OUTER JOIN.
08/01/2007, 11h29
griese

Mais en fait, qu'est ce que ca fais de plus le outer join ?
09/01/2007, 11h21
griese
Bon je fais un echo de mes deux variables avant mon UPDATE et elles sont bien remplies. Du coup je me demande si il n'y a pas une erreur dans ma requete UPDATE car rien ne se passe :
Code:

1 2 UPDATE table2 SET champ1='".$row->champ1."' WHERE id='".$row->id.";
Qu'en pensez vous ?
09/01/2007, 11h27
J0r_x

Code:

"UPDATE table2 SET champ1='".$row->champ1."' WHERE id='".$row->id."'"

Manque un ' à la fin.
09/01/2007, 11h54
griese

Oui j'ai remarqué ça après avoir posté :oops: merci
09/01/2007, 13h24
xave

Je ne vois rien d'anormal dans ta requete (à part le problème de quote que tu as dû corriger)...

Du coup, je sais pas trop là, ça affecte toujours une centaine d'enregistrements?

Sinon, ben vérifie combien tu as de doublons pour un enregistrement...:roll:
09/01/2007, 13h58
griese

Bah j'ai relancé ma requete et là il m'a traité 36000 lignes mais il m'en reste encore 20000 mais je n'arrive pas à savoir pourquoi les 21000 lignes qui me reste ne sont pas traités :koi:
09/01/2007, 14h34
xave

Sans doute parce qu'elles ne correspondent pas à ta clause where...
09/01/2007, 15h13
griese

ne cherchez plus, c'est une histoire de doublons. Donc ma requete est bonne en fait tout marche il faut juste que je recréé ma table d'origine. Merci beaucoup pour votre aide à tous, vous m'avez été d'un grand secours. ;)