Discussion :

[laurentSc]

Bonjour,

devant traiter des fichiers assez gros (fichier CSV de 110 000 lignes), pour stocker les données dans une variable avant de les traiter, j'envisage d'utiliser un tableau avec la classe SplFixedArray sachant, si j'ai bien compris, qu'ainsi on allait économiser de la mémoire par rapport à l'utilisation d'un tableau standard. Simplement pour créer une instance de cette classe, on doit fournir la taille du tableau (exemple de la doc : $array = new SplFixedArray(5);). Je pense donc qu'il va falloir demander à l'utilisateur qui va fournir le fichier CSV, le nombre de lignes, qui va déterminer la taille du tableau. Est-ce exact ?

[grunk]

Il suffit de parcourir le fichier pour compter les lignes et ainsi donner la bonne valeur à ton constructeur.

Mais clairement ce n'est pas une bonne idée de stocker tout un fichier dans un tableau.
Autant traiter au fur et à mesure des lignes.

[laurentSc]

OK pour parcourir le tableau plutôt que demander à l'utilisateur de saisir le nombre de lignes.

Par contre, la taille des fichiers CSV (max = 33ko) ne devrait pas poser de problème pour en stocker le contenu dans une variable. Comme en outre, je compte stocker dans ce tableau l'ID de l'insert pour ne pas avoir de SELECT à faire pour obtenir celui-ci (qui serait très chronophage quand la table deviendra grosse), obligé de constituer un tableau contenant toutes les données.

[laurentSc]

J'ai réouvert cette discussion, ayant des difficultés pour initialiser le tableau.

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 $nb_lines = CSVParser::getNblines();
 
        $array = new SplFixedArray($nb_lines);
 
        //construire un tableau avec ttes les lignes du CSV
        rewind(CSVParser::getHandle()); // pointer début fichier
        $ind = 0;
        while (($line_csv = fgetcsv(CSVParser::getHandle(), 0, CSVParser::getSeparator(),
                CSVParser::getEnclosure(),"")) !== false)
        {
            $array[$ind++] = $line_csv;
        }

Avec ce code, le tableau est correctement affecté, par contre, une fois le fichier parcouru, au lieu de sortir proprement du while,

Fatal error: Uncaught RuntimeException: Index invalid or out of range in C:\projets\ticket_rawsrc\src\controller\CSVImportController.php:107 Stack trace: #0 C:\projets\ticket_rawsrc\index.php(131): ticket_rawsrc\controller\CSVImportController->invoke(Array) #1 {main} thrown in C:\projets\ticket_rawsrc\src\controller\CSVImportController.php on line 107

C'est quoi le souci, SVP ?

[laurentSc]

Aucune solution ne m'étant proposée, pour ne pas rester bloqué, je reviens à un tableau standard :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 $array = [];
        rewind(CSVParser::getHandle()); // pointer début fichier
        while (($line_csv = fgetcsv(CSVParser::getHandle(), 0, CSVParser::getSeparator(),
                CSVParser::getEnclosure(),"")) !== false)
        {
            $array[] = $line_csv;
        }

[Séb.]

Tu fais bien de ne finalement pas utiliser SplFixedArray qui ajoutait une couche supplémentaire de complexité, à mon avis ça ne servait à rien pour ton problème initial.


L'erreur :

Fatal error: Uncaught RuntimeException: Index invalid or out of range

Tu as du te retrouver avec un $ind supérieur ou égal à $nb_lines

[laurentSc]

J'avais essayé SplFixedArray ayant rencontré des problèmes de mémoire, mais là, j'ai pu intialiser mon tableau avec le plus gros fichier CSV (dans mon cas, 33 ko, donc pas si gros que ça), et ça passe, donc je vais continuer comme ça.