Discussion :

[laurentSc]

Bonjour,

j'effectue le traitement d'un fichier CSV et pour chaque ligne du fichier, si elle est valide, j'alimente plusieurs tables SQL (SGBD=MySQL). Au début, j'avais fait des INSERT "simples". Le fichier contient environ 110 000 lignes et son traitement prenait environ une heure. J'ai inséré les INSERT dans des transactions afin de ne pas risquer de pourrir la bdd.

Voici le code d'un des INSERT :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
              $ppp = self::getPPP();
 
              $ppp->startTransaction();
 
              $sql=<<<sql
    INSERT INTO t_us_user (user_sesaid, user_firstname, user_lastname, user_email, cou_ident, bu_ident, loc_ident, 
    user_ident_manager, OZ_ident)
    VALUES({$ppp($sesa,'int')}, {$ppp($firstname)}, {$ppp($lastname)}, {$ppp($email)}, {$ppp($COU_ident)}, {$ppp
            ($BU_ident)}, {$ppp($LOC_ident)}, {$ppp($USER_ident_manager)}, {$ppp($OZ_ident)} ) 
    sql;
            $id = (int)$ppp->insert($sql);
 
            $ppp->commit();

Ca fait 55 minutes que ça tourne et on a traité que 10 000 lignes. Est-ce lié aux transactions ou à autre chose ?

[laurentSc]

Pour lever le doute, j'ai enlevé les transactions et relancé. Le repas étant passé par là, en 1h50, seulement 16 000 lignes traitées, donc c'est ailleurs...

[grunk]

Une transaction sera forcément plus longue qu'un insert seul.

En revanche , une transaction qui fait de l'insertion par lot (par lot de 100 par exemple) sera plus rapide que 100 inserts simple.

Donc si tu veux accelérer tes traitements , fait des insertions par lot.

[laurentSc]

Si je démarre une transaction, puis fais une dizaine d'insertions (ce qui correspond au traitement d'une ligne du CSV), puis un commit, ça irait ?

[grunk]

Ca pourrait ,
en général il faut faire des essais pour trouver la taille de lot la plus efficiente.

Edit , il semblerait que les transaction ne soit pas si efficiente que ca sous mysql (c'est le cas sous sqlite).

La doc mysql : https://dev.mysql.com/doc/refman/5.7...imization.html préconise plusieurs chose :
Faire des insert avec multiple VALUES ou encore mieux passer par un fichier.

Quelques exemples de performances ici : https://kvz.io/improve-mysql-insert-performance.html

[laurentSc]

Ton dernier lien date de 2009 et les exemples utilisent les fonctions mysql_xxx

[grunk]

Raison de plus pour re faire des tests et voir ce qui est le plus efficient