Discussion :

[randoo88]

Bonjour à tous.

Voilà, je veux pouvoir intégrer mon relevé de compte en CSV dans une base Mysql. Donc j'ai généré un fichier CSV sur le site de ma banque, j'utilise la fonction fgetscsv pour mettre le contenu de mon fichier dans un tableau php.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<?PHP
function read($csv){
    $file = fopen($csv, 'r');
    while (!feof($file) ) {
        $line[] = fgetcsv($file, 1024, ";");
    }
    fclose($file);
    return $line;
}
// Définir le chemin d'accès au fichier CSV
$csv = 'fichier.csv';
$csv = read($csv);
echo '<pre>';
print_r($csv);
echo '</pre>';
?>

Jusque là, tout est ok, j'obtiens ca

Array (
[0] => Array
(
[0] => Compte
[1] => Date de comptabilisation
[2] => Date op�ration
[3] => Libell�
[4] => R�f�rence
[5] => Date valeur
[6] => Montant
)

[1] => Array
(
[0] => 002XXXXXXXX
[1] => 12/01/2022
[2] => 12/01/2022
[3] => CHEQUE XXXXXXX XXXXX XXXXX
[4] => XXXXXX
[5] => 12/01/2022
[6] => -220,00
[7] =>
)

[2] => Array
(
[0] => XXXXXXX
[1] => 12/01/2022
[2] => 12/01/2022
[3] => VIR M GXXXXXXX SXXXXXXX XXXXXXXX
[4] => XXXXXX
[5] => 12/01/2022
[6] => -179,97
[7] =>
)

Ma question est maintenant, comment je fais pour pouvoir exploiter ces infos dans des variables. L'idée est qu'ensuite, je puisse indiquer que telle valeur d'une colonne de ce tableau va dans telle colonne de ma base Mysql et ensuite, je verifierai si je l'ai déjà pour eviter les doublon, et l'enregistré ou non.
Ces dernières parties, le traitement avec la base Mysql, il n'y a pas de souci, c'est plutôt comment traiter ce tableau qui me bloque.

Merci d'avance pour vos réponses
Cordialement
Guillaume

[Séb.]

D'abord ta fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
function read($csv){
    $file = fopen($csv, 'r');
    while (!feof($file) ) {
        $line[] = fgetcsv($file, 1024, ";");
    }
    fclose($file);
    return $line;
}

feof() est vraiment casse-gueule, je te conseille de ne pas l'utiliser, voir les comms de la doc
Pourquoi donner une limite de longueur à ta ligne ? Que se passe-t-il si ta ligne fait plus de 1024 caractères ? Utilise plutôt 0 pour que ton CSV soit correctement lu, enregistrement par enregistrement, quelque soit sa longueur

J'aime bien lire la 1re ligne, la mettre dans $header
Et ensuite pour chaque ligne du fichier faire un $rows = array_combine($header, $line);, ça permet d'obtenir un tableau de tableaux associatifs plus simples à utiliser, plus parlant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
Array => (
    [0] => Array (
        [Compte] => 002XXXXXXXX
        [Date de comptabilisation] => 12/01/2022
        [Date opération] => 12/01/2022
        [Libellé] => CHEQUE XXXXXXX XXXXX XXXXX
        [Référence] => XXXXXX
        [Date valeur] => 12/01/2022
        [Montant] => -220,00
    )
    ...
)

Ma question est maintenant, comment je fais pour pouvoir exploiter ces infos dans des variables.

Il faut boucler sur le retour de ta fonction, et exploiter chaque enregistrement : convertir les dates d/m/Y en Y-m-d (ou faire ça plus tard avec MySQL STR_TO_DATE()), et décider si tu fais un INSERT ou pas.
Je suppose que le CSV ne fournit pas d'identifiant unique d'opération, la difficulté sera donc d'avoir une bonne clef primaire et d'éviter les doublons.

Ces dernières parties, le traitement avec la base Mysql, il n'y a pas de souci, c'est plutôt comment traiter ce tableau qui me bloque.

Quoi exactement ? Donne-nous tes tentatives.

[laurentSc]

Bonsoir,

je me permets d'intervenir car même si je suis loin d'avoir la compétence de certains (comme séb.), ça fait plus de 2 ans que je travaille sur une appli qui justement a pour but de lire des fichiers CSV puis d'insérer en bdd les lignes correctes au vue de leur analyse et donc j'ai levé un loup que tu vas probablement rencontrer : les tables SQL vont devenir grosses et faire des SELECT dessus va devenir très chronophage. La solution est de stocker toutes les données dans un tableau et ce tableau aura comme nombre de colonnes la somme du nombre de colonnes de chacune de tes tables SQL (y compris l'id car ainsi pour retrouver un id, juste un array_search à la place d'un très chronophage SELECT).

[Séb.]

Faut pas exagérer sur le SELECT "très chronophage"

Même sur une table de plusieurs gigas, si tes index et ta requête sont bons un SELECT prend 0,05 sec. a être exécuté

[laurentSc]

Là, tu m'intéresses. Peux-tu préciser si tes index et ta requête sont bons ? Dans mon cas, c'est certainement pas le cas, vu le temps que ça prend. Cela dit, même 0,05 sec par select, si on traite un fichier CSV de 100 000 lignes, ça fait 0,05x100000 = 5000 secondes = 1h23....(si on fait un select par ligne et moi j'ai pas compté mais il doit y en avoir plusieurs dizaines par lignes)

[Séb.]

100 000 SELECT à exécuter => Tu fais un PREPARE et les délais baissent encore
Pour optimiser les SELECT => https://dev.mysql.com/doc/refman/8.0...imization.html (23 articles)

Bon, sinon je crois qu'on est loin du cas de randoo88 qui ne gère pas une multinationale, il me semble

[randoo88]

Bonjour à tous,

Merci pour vos réponses.

feof() est vraiment casse-gueule, je te conseille de ne pas l'utiliser, voir les comms de la doc
Pourquoi donner une limite de longueur à ta ligne ? Que se passe-t-il si ta ligne fait plus de 1024 caractères ? Utilise plutôt 0 pour que ton CSV soit correctement lu, enregistrement par enregistrement, quelque soit sa longueur

J'avoue que c'est un bout de code que j'ai trouvé sur Internet et vu que ca marche, je n'ai pas été cherché plus loin.

J'aime bien lire la 1re ligne, la mettre dans $header
Et ensuite pour chaque ligne du fichier faire un $rows = array_combine($header, $line);, ça permet d'obtenir un tableau de tableaux associatifs plus simples à utiliser, plus parlant :

Je vais faire ca, en effet, c'est plus présentable.

Il faut boucler sur le retour de ta fonction, et exploiter chaque enregistrement : convertir les dates d/m/Y en Y-m-d (ou faire ça plus tard avec MySQL STR_TO_DATE()), et décider si tu fais un INSERT ou pas.
Je suppose que le CSV ne fournit pas d'identifiant unique d'opération, la difficulté sera donc d'avoir une bonne clef primaire et d'éviter les doublons.


Quoi exactement ? Donne-nous tes tentatives.

Donc, j'utilise FOR pour faire un boucle, c'est ca ? En fait, c'est là que je rame un peu.

Convertir les dates, ca, pas de souci, j'ai déjà traité ce genre de pb.
Pour éviter les doublons, il y a quand même la référence et je pensais faire une recherche avec plusieurs critères pour être sur (date, montant et référence). Sachant bien sur que ma table contient ensuite un ID unique.

100 000 SELECT à exécuter => Tu fais un PREPARE et les délais baissent encore
Pour optimiser les SELECT => https://dev.mysql.com/doc/refman/8.0...imization.html (23 articles)

Bon, sinon je crois qu'on est loin du cas de randoo88 qui ne gère pas une multinationale, il me semble

C'est ca, c'est juste pour importer un fichier CSV dans ma compta d'une petite association, ca fait que quelques lignes à chaque fois. En fait, ca a 2 buts, m'amuser à programmer l'importation du CSV et remplir automatiquement un partie de ma table MySQL.

Et je n'importe pas directement mon CSV dans ma table, parce que bien entendu, les colonnes ne correspondent pas. Donc, en fait, je cherche un moyen pour importer mon CSV, identifier les colonnes, vérifier que je n'ai pas déjà la ligne et l'enregistrer dans ma table.

[Séb.]

Donc, j'utilise FOR pour faire un boucle, c'est ca ? En fait, c'est là que je rame un peu.

Tu peux faire un foreach() pour parcourir ton tableau enregistrement par enregistrement.

[laurentSc]

Je vais faire ca, en effet, c'est plus présentable.

En effet, voici une partie de mon code :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
while (($line_csv = fgetcsv(CSVParser::getHandle(), $buffer, CSVParser::getSeparator(),
        CSVParser::getEnclosure(),"")) !== false) {
    ...
/*on met les lignes dans la propriété  $this->data
*/
        $this->data = array_combine(CSVParser::getHeader(), $this->data);
        }