Discussion :

[nathieb]

Bonjour,

Je cherche une solution viable pour la mise à jour de donnée par millier via une interface PHP, le problème c'est qu'une boucle standard PHP produit des time out sur la page. ils s'effectuent mais il affiche une page blanche dans le meilleur des cas.

J'ai donc penser au SQL LOADER mais update impossible
Procédure stockée avec un repertoire ( pb le serveur web n'est pas sur la même machine )
utilisation d'un blob, je stocke un blob puis je le relis en PL SQL ??
par contre le dernier je sais pas si c'est possible.


sinon j'utilise MDB2 pour Oracle et j'ai vu qu'il utilisait la fonction Multiple ??
ou une transaction. Dans tous les cas je cherche à optimiser mes requêtes !
Bref si vous avez déjà eu ce genre de questionnement, je vous invite à me répondre.

Ma contrainte est "interactivité", pb c'est l'opposé de du traitement de données en quantité.

olivier

[Seb33300]

Tu peux donner plus de détail à propos de la mise à jour de tes données ?

Toutes les données appartiennent elles à la même table ?
Pourquoi dois tu faire une boucle ?

Avec un exemple ça aiderai à mieux comprendre

[nathieb]

Bonjour,

après upload ud fichier on le lit et on fait une mise à jour sur chaque ligne.

genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
for($i; $i < $nblignes; $i++){
      update_tab("colonne","table","clefprimaire");
}

update_tab est une fonction qui fait un update SQL sur une table, une colonne en fonction d'un clef primaire unique.

sur 100 lignes ok mais sur 30 000, la page commence à ramer.

Il faudrait faire un traitement en lot

C'est du code que je reprends d'une appli. ( Bug )

olivier

[amateur_dev]

bonjour,
c'est confus tout ça (SQL Loader, PS, Blob, ...)
SQL Loader sert à faire des chargements externes.
Les Blobs à charger des Binaires ....
La procédure stockée est - par défaut - l'unique bon moyen de travailler (même sur ce site c'est quasi inconnu).
Vous devez faire des MAJ. Faites-les!
Ou faites-la ! (Quelle est la nature de la MAJ ?)
Et n'affichez-rien .. dans une boucle ! C'est cela qui pourrait ralentit votre MAJ!
Affichez à la fin!
Autrement augmentez votre TimeOut! mais ....
Bonne journée

[nathieb]

Réponse :

Désolé pour la confusion, mais l'appli dont je parle utilise le SQL Loader pour le chargement des données en quantité.

Les traitements sont tous effectués en PL SQL ( Package/fonction/procédures) mais pour certaines fonctionnalités le client extrait et réintègre le fichier avec des données modifiées
ID NOM adresse
1 nom1 adresse 1 .......etc sur 30 000 lignes.

lorsque le client réintègre c'est la qu'est le pb.

si je fais une boucle standard PHP c'est souvent trop long ( time OUT )
c'est pour cette raison que j'envisage d'autres solutions. le blob permet le stockage rapide d'un fichier afin de le relire en PL SQL avec des updates.

olivier

[rbaraer]

Bonjour,

Si vous n'utilisez pas de requête préparée, cela améliorera les performances. Avec certaines API (C, C++, Java notamment) il est aussi possible de bufferiser les requêtes avant de les envoyer au serveur (par exemple bufferiser 100 updates et les envoyer d'un seul coup), pour limiter les aller-retours client-serveur, mais je n'ai rien vu de tel en PHP.

Sinon voici une autre façon de faire :
- créer une définition de table externe Oracle, avec un fichier csv qui aurait comme nom par exemple 'donneesclient.csv'
- PHP viendrait créer et déposer ce fichier csv sur le serveur Oracle (ou sur le serveur web puis FTP qui pourrait être fait par le job Oracle ci-dessous)
- un job Oracle viendrait régulièrement exécuter une procédure PL qui lirait la table externe et mettrait à jour les données de la base, puis supprimerait ou renommerait 'donneesclient.csv' (le fichier pourrait au préalable être récupéré en FTP)