Dépassement de mémoire

Version imprimable

Bonjour,

Nous sommes en train de crééer un batch d'import de données depuis un fichier excel.
Nous l’exécutons en tant que commande.

En gros, ce batch fais les opérations suivantes :

Citation:

récupération du contenu du fichier excel dans un tableau (peu gourmand en mémoire)
pour chaque ligne de ce tableau{
on regarde si on l'a déjà en base(très gourmand 5MB)
si non, on créé l'objet
on modifie quelques valeurs de l'objet
on le met a jour, on persist
tous les 20 enregistrement ou pour le dernière occurrence, on flush et clear l'entité manager.
}

Jusque là, ca devrait bien fonctionner... sauf que le système est ultra lent, et qu'on encrasse la mémoire progressivement avec des données que l'on utilise surement plus.

Est-ce que vous voyez quelque chose à mettre en place pour que ca fonctionne mieux ?
Merci,
Pierre

Le code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
 
private function importOceaneTicket($exports_path, $export_date, $em) {
       echo __FUNCTION__ ;
 
        $batchsize = 20;
        $xls = new Reader($exports_path . $export_date . "/00_tbl_tickets.xls");
        $c = $xls->rowcount();
        for ($row = 2; $row <= $c; $row++) {
            $ticketid = utf8_encode($xls->val($row, 1));
            $Status = utf8_encode($xls->val($row, 2));
            $InitiatorGroupID = utf8_encode($xls->val($row, 3));
            $InitiatorGroupname = utf8_encode($xls->val($row, 4));
            $InitiatorCountry = utf8_encode($xls->val($row, 5));
            $InitiatorUserName = utf8_encode($xls->val($row, 6));
            $Product_type = utf8_encode($xls->val($row, 7));
            $Identifier_1 = utf8_encode($xls->val($row, 8));
            $Identifier_2 = utf8_encode($xls->val($row, 9));
            $Identifier_3 = utf8_encode($xls->val($row, 10));
            $Monitored_reference = utf8_encode($xls->val($row, 11));
            $Last_user = utf8_encode($xls->val($row, 12));
 
            $ticket = $this->checkDolphinTicket($em, $ticketid);//here is the issue
 
            //update with oceane field
            $datanow = new DateTime('now');
            $datanow->format('d-m-Y H:i:s');
            $ticket->setUpdateDate($datanow);
            $ticket->setOceaneStatus($Status);
            $ticket->setOceaneInitiatorGroupId($InitiatorGroupID);
            $ticket->setOceaneInitiatorGroupName($InitiatorGroupname);
            $ticket->setOceaneInitiatorCountry($InitiatorCountry);
            $ticket->setOceaneInitiatorUsername($InitiatorUserName);
            $ticket->setOceaneProductType($Product_type);
            $ticket->setOceaneIdentifier1($Identifier_1);
            $ticket->setOceaneIdentifier1($Identifier_2);
            $ticket->setOceaneIdentifier1($Identifier_3);
            $ticket->setOceaneMonitoredReference($Monitored_reference);
            $ticket->setOceaneLastUser($Last_user);
            $em->persist($ticket);
            if (($row % $batchsize) == 0) {
                $em->flush();
                $em->clear();
            }
            unset($ticket);
        }
        $em->flush();
        $em->clear();
        unset($c);
        unset($xls);
    }

And the code of the function checkDolphinTicket :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
 
private function checkDolphinTicket($em, $id) {
        $dolphin_ticket = $em->getRepository('ToolBundle:Ticket')->findOneBy(array('sspo_tid' => $id));
        if ($dolphin_ticket == null) {
            $dolphin_ticket = $this->insertTicket($em, $id);
        } else {
            $current_status = $dolphin_ticket->getStatus();
            if ($current_status == '3') {
                $dolphin_ticket->setStatus('0');
            }
        }
        return $dolphin_ticket;
    }

26/09/2013, 10h55
rawsrc

Salut,

tu as déjà mis des unset à chaque boucle...
Pas facile : perso les imports massifs, j'ai arrêté de les coder en PHP :
c'est EXCEL -> CSV -> PROCEDURE STOCKEE (LOAD DATA INFILE)

Après y aura pas de miracle non plus : les imports c'est du lourd 9 fois sur 10...

PS : tu as essayé en te passant de Doctrine and CO : coder tout le SQL séparément dans un module Import par exemple ?
26/09/2013, 11h23
pmithrandir

Bonjour,

On pourrait le faire par import, mais on est sur des volumes faibles(3-400 tickets modifiés... pas non plus la mort normalement)

En plus, on utilise postgres, et je n'ai toujours pas trouvé comment insérer les données dans la base par insert sans que doctrine gueule parce que les séquence sont corrompues après celà.

Merci,
Pierre
26/09/2013, 11h57
gototog

Problème d'import il y'a 1 mois pour ma boite aussi, ca venait du fait de qu'on utilisé l'entity manager pour nos insertions.
Vous manipulez des données avec l'entity manager?
Si c'est le cas je vous conseil de faire des clear() tous les 50/100 flush().
Le problème de ce bon vieux clear c'est que vos variables entités seront déliés, donc il faudra ré-instancier vos entités nécessaires à vos controles. (peut être utiliser $em->getReference au besoin)

Doctrine déconseille l'utilisation de l'em pour les imports.

Voila les infos en vrac que j'ai pu obtenir en réglant mon problème similaire
26/09/2013, 12h46
pmithrandir

Hello,

On fait un clear tout les 20 update.

Pierre
26/09/2013, 21h57
arnooo999

As tu essaye en lançant ta commande en environnement de prod ?
27/09/2013, 13h11
pmithrandir
Bonjour,

le passage en environnement de prod à complétement réglé le problème.

JE ne savais pas, mais même sur les commandes console personnalisée, l'environnement est important.

Pour rappel :
Code:

1 2 app/console yoursite:yourcommand --env=prod
Merci a vous tous pour le coup de main.
Pierre