mon script est stoppé

Version imprimable

Bonjour,

mon script s'est arrêté et je ne vois pas pour quelle raison.
Pas de message d'erreur.
En gros, il s'agit de lire un fichier CSV et à chaque ligne lue, faire un traitement. Pour suivre l'évolution, j'affiche le numéro de la ligne lue :
Code:

1 2 3 4 5 $nb_line = 0; while (($line_csv = fgetcsv(CSVParser::getHandle(), $buffer, CSVParser::getSeparator(), CSVParser::getEnclosure(),"")) !== false) { $nb_line++; echo "csvimportcontroller 106 nbline=".$nb_line."<br/>"; ...
Il a lu 7652 lignes mais le fichier en contient 110751. Comment puis-je trouver la cause de ce blocage ?

05/01/2022, 09h53
Séb.

Regarde si les lignes du CSV à partir de la 7651e sont bien formées

Rien d'autre dans ta boucle qui pourrait arrêter le parcours du CSV ?
05/01/2022, 11h25
laurentSc

Après examen du CSV, les lignes suivantes semblent correctes.

Pour chaque ligne lue, le traitement est d'abord une analyse de la ligne, et si correcte, écriture en bdd. Afin de savoir où se trouve le blocage, j'ai commenté l'écriture en bdd et en quelques minutes, il a déjà atteint la ligne, il a parcouru tout le fichier CSV. Je vais continuer à chercher ainsi. OK ?
05/01/2022, 13h25
cavo789

Citation:

Envoyé par laurentSc

j'ai commenté l'écriture en bdd et en quelques minutes, il a déjà atteint la ligne, il a parcouru tout le fichier CSV. Je vais continuer à chercher ainsi. OK ?

Du coup, si je comprends bien, ton script va faire plus de 110.000 INSERT en base de données. A mon avis ton souci est donc un goulot d'étranglement au niveau de ton système de base de données. Faudrait voir avec un dba (database admin) s'il peut identifier un quelconque blocage à ce niveau.

Note aussi, quand tu fais ton insert; valides-tu que cela a fonctionné ? Est-ce que tu as p.ex. un try catch pour garantir que l'insertion a fonctionnée ?
05/01/2022, 13h38
Séb.

Citation:

Je vais continuer à chercher ainsi. OK ?

Tu sais que la requête vers ta base provoque un plantage.
Maintenant, pour en connaitre la cause, il suffit d'afficher l'erreur, avec PDO::errorInfo() par exemple.

Ta remarque (Cavo789) m'a débloqué. Il y avait bien des try/catch mais avant de te répondre, j'ai regardé en détail, et si je démarrais bien une transaction, je faisais jamais de commit !

Maintenant, le code pour traiter une ligne est le suivant :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
 
                    self::createLicensesObjects();
 
                    $this->errors = Record::analyze_license($this->refTableLicense);
 
                    //on effectue les analyses. Si une
                    // erreur est détectée, on renseigne la chaîne des erreurs ($this->errors)
                    if (Record::getLastError() == "no error")
                    {
                        try
                        {
                            $this->refPPP = CSVImport::startPPP();  //connexion
                            CSVImport::startTransaction();
                            CSVImport::putInDBLicense($this->refTableLicense,
                                $this->refPPP);
                            CSVImport::commit();
                        }
                        catch (\Exception $e) {
                        }
                    }

J'ai relancé. Bon, mon code n'étant pas du tout optimisé, il n'a traité en quelques minutes que 72000 lignes, mais c'est déjà pas mal. J'attends la fin avant de passer en :resolu:

Au fait, ne serait-il pas utile de faire après chaque itération de la boucle un closeCursor ?

05/01/2022, 14h57
cavo789

Pour être sûr : tu lances combien de startTransaction ? Une seule fois, en dehors de la boucle ou dans la boucle et donc 110.000 fois ?

(la bonne approche est de ne le faire qu'une fois, soit tout passe correctement soit rien du tout)
05/01/2022, 22h11
laurentSc

Je prendrai en compte ta remarque demain.

En fait, à l'heure actuelle, je démarre 110000 fois une transaction . J'ai voulu modifier cela mais y avait plus aucune écriture en bdd. J'ai réussi à revenir en arrière et je ferai ça proprement demain.
06/01/2022, 08h38
cavo789

L'objectif d'une transaction est de protéger la base de données d'un état instable et donc de conserver son intégrité.

Démarrer 110.000 transactions est quelque chose de coûteux en ressources et, je le suppose, lorsque tu n'auras plus qu'une seule transaction (avant la boucle), je pense que ton script s'exécutera bien plus vite. Toutefois, d'expérience, je sais que les serveurs de bases de données commencent à être étranglé lorsqu'ils reçoivent des requêtes à n'en plus finir. Les premières s'exécuteront très vite puis, comme sur une autoroute, tu auras un embouteillage et il y aura un goulot d'étranglement à un moment donné. Ton script sera donc plus rapide avec une seule transaction mais tant que tu feras des INSERT à la queue-leu-leu, il ne faut pas s'attendre à une vitesse éclair.

si je commente l'écriture en bdd, le fichier CSV avec ses 110000 lignes est lu et traité (donc juste analyse des erreurs pour chaque ligne) en quelques minutes. Par contre, là, je viens de remettre l'accès en bdd (donc environ 110000 INSERT ou UPDATE) et ai relancé le script (y a environ 4h30) et il n'a lu et traité que 3900 lignes...:aie: A ce rythme, d'après mon calcul, y en a pour 5 jours...(4h30->270 minutes et 270*110000/3900=7615 minutes, soit 126 heures, soit 5,2 jours)

J'ai d'abord testé le script sur un fichier CSV léger (63 lignes), donc il est correct. Mon script est le suivant :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
try
{
        $this->refPPP = CSVImport::startPPP();  //connexion
        CSVImport::startTransaction(); //on lance la transaction avant la boucle
 
        $buffer= 4096;
        while (($line_csv = fgetcsv(CSVParser::getHandle(), $buffer, CSVParser::getSeparator(),
                CSVParser::getEnclosure(),"")) !== false) {
                ...
                switch (CSVParser::getCSVType())
                {
 
                case "license":
 
                    // analyses
 
                    self::createLicensesObjects();
 
                    $this->errors = Record::analyze_license($this->refTableLicense);
 
                    //on effectue les analyses. Si une
                    // erreur est détectée, on renseigne la chaîne des erreurs ($this->errors)
                    if (Record::getLastError() == "no error")
                    {
                        CSVImport::putInDBLicense($this->refTableLicense,
                            $this->refPPP);
                    }
 
                   break;
                   ...
                } // fin du switch
 
       } //fin de la boucle
 
       CSVImport::commit(); //on fait le commit en fin de boucle
} // fin du try
catch (\Exception $e) {
}

Je me savais pas si mauvais en codage...:aie:

06/01/2022, 15h21
cavo789

Donc comme je l'ai déjà dit deux fois plus haut, ta base de données souffre d'un embouteillage. Elle est pépère et puis tu lui envoies; paf! prends ça dans la tronche, des milliers d'instructions.

Tu t'es rapproché d'un administrateur pour qu'il te guide dans une meilleure approche ?

(c'est quoi comme SGBD ?)
06/01/2022, 15h27
laurentSc

Mon problème d'optimisation n'ayant plus rien à voir avec un blocage, je clos cette discussion et en démarre une nouvelle avec un titre plus approprié.