Manipulation lourde de CSV : quelle approche choisir ?

Bonjour à tous,

Je chercher à modifier à la chaine plusieurs CSV qui ont tous plus ou moins la même forme, mais qui sont gros et surtout, que je veux fortement modifier.
Avant de me lancer à coder, j'essaye d'imaginer la technique qui soit la plus pertinente et optimisée, sachant que je sens bien que vu la taille des CSV*et les manip demandées, ça va ramer sévère :D

En gros, j'ai 2 types de modifications à faire pour chaque CSV :

1. Parcourir le nom des colonnes;
2. en fonction du nom de la colonne (en faisant appel à des regexps, puisque les noms sont des codes souvent faits sur le même modèle), décider si je mets cette colonne dans un fichier A, dans un fichier B, ou si je ne m'en sers pas ;
3. En fonction du nom de cette colonne, définir des codes à lui associer dans des colonnes à créer. Par exemple, pour une colonne intitulée C15_H_0019, je veux créer 3 colonnes :*annee à remplir de valeur 15, sexe à remplir de valeur H, et code à remplir de valeur 0019 ;
4. Enfin, ajouter les valeurs de ces 3 colonne à mon fichier A ou B (selon ce qui a été retenu en étape 1) en les ajoutant à la suite du fichier, pas en ajoutant des colonnes.

Je ne sais pas si je suis très clair, mais en gros il s'agit de recoder et restructurer entièrement des fichiers de valeurs, en « copiant collant » des valeurs de colonnes à la suite des valeurs d'une colonne de valeurs unique, mais en y associant des codes en colonne pour pouvoir identifier d'où viennent ces valeurs et ce qu'elles signifient.
Pour ceux qui font un peu de base de données décisionnel, c'est pour créer une table de fait et des clés pour des tables de dimension.

Ça fait longtemps que j'ai pas remis les mains dans du python, et j'avais pas un très grand niveau non plus, surtout sur de la manipulation de strings et de csv, du coup je ne sais pas trop comment m'y prendre efficacement.
Par exemple, est-ce que j'ai intérêt à faire ça en passant par du dictionnaire, pour plus facilement manipuler les valeurs de chaque colonne ?
Est-ce que j'ai intérêt, pour chaque colonne, dès lors que je sais dans quel fichier output l'envoyer, à copier les valeurs uniques dans le fichier, puis dans ce fichier final à y écrire les codes associés dans les colonnes complémentaires, ou bien à déjà créer ces colonnes en mémoire ou dans le fichier initial puis à copier l'ensemble dans le fichier final ?

Bref, je prends toutes les réflexions et bonnes idées !

Merci.

Salut,

Citation:

---

Envoyé par GroFlo

je ne sais pas trop comment m'y prendre efficacement.

---

La première chose à faire est d'avoir des exemples de noms de colonnes significatifs et un petit jeu de données: ce qui fait un tas de fichiers à tester dont vous pouvez anticiper le résultat attendu.

Puis vous essayez de clarifier/traduire ce que vous racontez dans les étapes 1, 2 et 3 (pour commencer). Et si vous rencontrez des difficultés on saura mieux ce que vous cherchez à faire et vous pourrez poster le code que vous avez essayé.

- W

Qu'est ce que vous appelez de gros CSV ? 1 million de données pour l'humain c'est gros. Pour votre ordi non. L'ordi a tout de même ses limites, mais pour savoir si vous allez les atteindre il faut le nombre de fichier et le nombre moyens de cellules par fichier (ou nombre de lignes fois nombre de colonnes)

Citation:

---

Avant de me lancer à coder, j'essaye d'imaginer la technique qui soit la plus pertinente et optimisée, sachant que je sens bien que vu la taille des CSV*et les manip demandées, ça va ramer sévère

---

"Premature optimization is the root of all evil".

Ce travail ne semble pas très compliqué à faire avec Pandas. Pourquoi tu te tenterais pas avec un fichier et voir combien de temps ça prend ? D'ailleurs, tu veux que ça se termine en combien de temps ? Si ça prendre 1 / 5 / 10 / 100 min c'est un problème ? Si ça ne convient pas, il sera temps de recoder une version optimisée.

La remarque de lg_53 est très pertinente : c'est quoi "gros" ?

Celle de wiztricks l'est tout autant : coder une version fonctionnelle avec un petit jeu de données. Ca évite d'attendre 3 minutes pour avoir un résultat faux, de modifier une ligne, attendre 3 minutes, etc.

Merci pour ces retours.

Je parle de gros car on doit être dans les 5 à 6 millions de valeurs par fichier, sur 50 000 lignes, à remettre dans 2 fichiers séparés, qui du coup frôleront les 3 millions de lignes et 5 à 6 colonnes, et qu'il faut en traiter à la suite une bonne 10aine environ.
Mais je risque de répéter l'opération sur d'autres familles de fichiers, tous aussi lourds, voir bien plus (notamment certains fichiers où on parle de 4 millions de lignes avec plus de 50 colonnes !)

J'ai évidemment prévu de faire le test sur un fichier réduit, pour tester la logique (surtout que le travail se fait essentiellement sur les noms de colonnes, donc peu m'importe ensuite qu'il y ait 2000 lignes traitées ou 3 millions).

Si au final, le traitement nécessite du temps, même de l'ordre de plusieurs heures, ce n'est pas un souci en soi. C'était juste que vu que ça me parait quand même être fastidieux, je préfère avoir une approche un minimum pensée pour éviter des erreurs au bout de 2h pour des problèmes mémoire ou que sais-je. Moi qui ai aussi l'habitude de faire de gros traitement carto, j'ai suffisamment soupé des opérations qui tournent pendant 45 minutes pour finir par planter :)

Donc si avoir recours au dictionnaire pour lire le CSV plutôt qu'un reader classique fait plus ramer ou risquer de planter pour des questions de mémoire (je dis ça au hasard, j'en sais rien), je préfère le savoir avant de lancer l'opération sur mon premier fichier à 4 millions de valeurs !

@Bktero : merci pour Pandas, j'ai effectivement vu entre temps ce package que je ne connaissais pas et qui me semble en effet une bonne base pour ça. Je m'y penche et, comme l'a proposé wiztricks je reviens ici avec un code test par étapes pour en discuter.
Merci !

Bonjour

Citation:

---

Envoyé par GroFlo

Donc si avoir recours au dictionnaire pour lire le CSV plutôt qu'un reader classique fait plus ramer ou risquer de planter pour des questions de mémoire (je dis ça au hasard, j'en sais rien), je préfère le savoir avant de lancer l'opération sur mon premier fichier à 4 millions de valeurs !

---

Programme ton traitement et teste le sur un fichier à 400 valeurs. Si ensuite ça plante pour 4 millions, même si ça met 45mn, c'est pas grave. Tu pourras optimiser à partir de là (peut-être par exemple ne pas stocker le fichier en mémoire mais dans un truc dédié aux big datas). L'important est d'abord d'avoir un traitement qui fonctionne. Le lieu de stockage du "Modèle" (tiré de la terminologie "Modèle/Vue/Controleur") pourra toujours être changé plus tard.

Citation:

---

Envoyé par Bktero

La remarque de lg_53 est très pertinente : c'est quoi "gros" ?

---

Ben c'est comme ma t...
:dehors:

PS: merci pour ton lien Pandas. je suis en train de lire la doc... ;)

Salut,

Citation:

---

Envoyé par GroFlo

C'était juste que vu que ça me parait quand même être fastidieux, je préfère avoir une approche un minimum pensée pour éviter des erreurs au bout de 2h pour des problèmes mémoire ou que sais-je.

---

Quelque soit la taille du fichier CSV, c'est une suite de lignes inutile de tout charger en mémoire. Pour le reste pandas est très bien mais, vu ce que vous voulez faire, c'est un peu surdimensionné: vous allez passer du temps à éplucher la documentation alors que vous ne vous servirez que d'un millième des possibilités de la bête.

- W

Bonjour,

Dans les temps de traitement, il est probable que ce soient les lectures/écritures disque qui pèseront le plus lourd. Il est donc important (et facile!), de faire une simulation.

J'ai ainsi fabriqué et relu un fichier csv de 1 million de lignes, chaque ligne ayant 15 champs comportant chaines, nombres entiers et nombres flottants.
- temps d'écriture: 5 secondes
- temps de lecture: 3 secondes

Et on dit que Python est lent? :roll:

Compte tenu du travail à faire, si le traitement porte sur chaque ligne séparément, je pense qu'il faut prévoir une lecture ligne par ligne (une fonction de lecture avec yield par exemple), suivi du traitement, et suivi d'une écriture également ligne par ligne.
Pour l'écriture dans plusieurs fichiers, il n'y a pas d’inconvénient à les laisser ouverts pendant le traitement (les systèmes d'exploitation actuels permettent d'ouvrir environ 500 fichiers en même temps).

Chaque ligne lue dans le fichier csv est une liste de valeur de champ => ["toto", 123, 0.987, ...]. et c'est une telle liste après traitement qu'il faut écrire dans le bon fichier csv destination. Le code de lecture et d'écriture sera facile à développer puisqu'il existe des exemples dans le manuel (module csv). Autrement dit, le vrai problème de codage va être dans la manipulation de ces listes.

Bonjour à tous,

alors avec pandas, j'arrive parfaitement :

• à parcourir mes entêtes, pour identifier celles que je souhaite retenir ;
• à chaque entête de colonne, parcourir chaque ligne pour les enregistrer à part, et à leur associer des valeurs dans des colonnes ajoutées pour l'occasion ;
• ajouter à la suite toutes ces valeurs dans un nouveau fichier, où mes valeurs de colonnes ont été agrégées dans une seule colonne de données, et identifées par des codes dans les colonnes créées pour l'occasion.

Bref, j'ai quasiment résolu mon problème. Seul souci (de taille), je souhaite à chaque valeur copiée, y associer une valeur d'une autre colonne, qui me servira ensuite de dimension au même titre que mes autres colonnes dont j'extrais les valeurs à partir du nom des différentes colonnes.
Mais là je bloque :*quand je boucle sur les valeurs de lignes d'une colonne, je n'arrive pas à obtenir la valeur de la même ligne sur une autre colonne. J'ai tenté de passer par un index.get_loc, ou bien par un compteur et la commande data.loc[i, 'header-de-colonne'] mais dans les deux cas, j'arrive à des erreurs.

J'ai résolu le problème en commençant par mettre dans une liste toutes les valeurs de cette colonne, puis on l'ajoutant au moment de ma boucle, mais j'aimerais comprendre comment faire autrement, et notamment pourquoi index.get_loc ne fonctionne pas, ni le loc[i, 'titrecolonne'].

Voici mon code actuellement :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

#lecture du fichier d'entrée data = pd.read_csv('2013.csv', sep=',', encoding='utf-8')   #récupération des entetes entetes = (data.head(0))   list_ligne = [] list_col1 = []   #récupération des valeurs de la colonne que je n'arrive pas à obtenir autrement, durant la boucle principale   for row in data['col1']: list_col1.append(row)   #'Boucle regexp sur chaque entete   for element in entetes: match = re.search(r"([HF])(\d+[P]?).(CS\d)",element) if match: i=0 #compteur de ligne pour pouvoir coller la bonne valeur de la col1 for row in data[element]: dict1 = {} #écrire la ligne en dictionnaire pour l'intégrer à ma liste qui servira à transférer en csv final dict1 = {'population':row, 'sexe':match.group(1), 'age':match.group(2), 'csp':match.group(3), 'col1':list_col1[i]} list_ligne.append(dict1) i+=1   #création d'un nouveau dataFrame avec les valeurs retenues et organisées result = pd.DataFrame(list_ligne)   result.to_csv('output2013-fact.csv', sep=',', encoding='utf-8')

---

Citation:

---

Envoyé par tyrtamos

- temps d'écriture: 5 secondes
- temps de lecture: 3 secondes

---

Ce genre de résultat dépend de l'ordinateur sur lequel le code est exécuté…

Citation:

---

Envoyé par tyrtamos

Il est donc important (et facile!), de faire une simulation.

---

D'où cette remarque pertinente…

Bonjour,

Citation:

---

Envoyé par Jerome Briot

Ce genre de résultat dépend de l'ordinateur sur lequel le code est exécuté…

---

Ah bon??? :roll:

Et oui, mais c'est sur un ordinateur de 5 ans et sur un disque dur "normal" (non-SSD). C'est donc un bon ordre de grandeur.

Pour le coup avec mon code, j'ai pu passer de 8 fichiers de 40k lignes et 80 colonnes environ à mes 2 csv uniques d'environ 8 millions de lignes et 4 colonnes en 2 ou 3 minutes, ce qui est bien plus honnête que ce à quoi je m'attendais !
Bon, je ne me suis pas encore attelé à mes fichiers de 4 millions de lignes et de plus d'une centaine de colonnes, ça sera sans doute un peu plus costaud à traiter, mais c'est largement jouable, même sans avoir de bête de guerre en ordi.

Cela dit, si quelqu'un peut m'apporter un éclairage sur ma problématique ci-dessus, je suis preneur ! Merci.

Citation:

---

Envoyé par GroFlo

Cela dit, si quelqu'un peut m'apporter un éclairage sur ma problématique ci-dessus, je suis preneur ! Merci.

---

Sans avoir d'exemple du fichier à traiter => difficile

Ceci dit, on peut optimiser ton code

Citation:

---

Envoyé par GroFlo

Code:

---

1 2 3

#récupération des valeurs de la colonne que je n'arrive pas à obtenir autrement, durant la boucle principale for row in data['col1']: list_col1.append(row)

---

---

Donc ici tu recopies la liste data["col1"] dans la liste "list_col1". Un peu comme si tu copiais la variable "i" dans "j". Tu vois où je veux en venir ? Si tu as déjà l'info, pas besoin de la copier ailleurs. Sauf si data["col1"] disparait après coup mais je n'en ai pas l'impression.
Mais si vraiment tu veux copier une liste dans une autre, tu peux le faire bien plus rapidement => list_col1=list(data["col1"]) ou bien list_col1=data["col1"][:].

Citation:

---

Envoyé par GroFlo

Code:

---

1 2 3 4 5 6 7 8 9 10 11

# Boucle regexp sur chaque entete for element in entetes: match = re.search(r"([HF])(\d+[P]?).(CS\d)",element) if match: i=0 #compteur de ligne pour pouvoir coller la bonne valeur de la col1 for row in data[element]: dict1 = {} #écrire la ligne en dictionnaire pour l'intégrer à ma liste qui servira à transférer en csv final dict1 = {'population':row, 'sexe':match.group(1), 'age':match.group(2), 'csp':match.group(3), 'col1':list_col1[i]} list_ligne.append(dict1) i+=1

---

---

Code:

---

1 2 3 4 5 6

# Boucle regexp sur chaque entete for element in entetes: match = re.search(r"([HF])(\d+[P]?).(CS\d)",element) if not match: continue for (i, row) in enumerate(data[element]): list_ligne.append({'population':row, 'sexe':match.group(1), 'age':match.group(2), 'csp':match.group(3), 'col1':list_col1[i]})

---

On peut même remplir list_ligne en une instruction mais là ça devient ensuite ardu à relire: list_ligne=list({'population':row, 'sexe':match.group(1), 'age':match.group(2), 'csp':match.group(3), 'col1':list_col1[i]} for (i, row) in enumerate(data[element]))...

Code:

---

if not match: continue

---

Perso je trouve ça très vilain :P Ca fait le taf certes, mais je ne trouve pas que ça améliore la lisibilité du code.

Contrairement à enumerate() qui est très pratique pour ce genre de code ! D'ailleurs en Pandas, il y a DataFrame.iterrows() qui est la fonction dédiée pour faire ça : https://pandas.pydata.org/pandas-doc....iterrows.html

Citation:

---

Envoyé par Bktero

Code:

---

if not match: continue

---

Perso je trouve ça très vilain :P Ca fait le taf certes, mais je ne trouve pas que ça améliore la lisibilité du code.

---

Boarf, moi j'y suis habitué 8-)
Plus ou moins lisible je ne sais pas... mais en tout cas je gagne un niveau d'indentations et ça je trouve ça super ;) J'ai même vu un de mes anciens codes récemment où j'avais une seule ligne dans le traitement => autrement dit, j'aurais inversé le test je gagnais une ligne mais je l'ai laissé ainsi :aie:

Salut,

Citation:

---

Envoyé par GroFlo

Mais là je bloque :*quand je boucle sur les valeurs de lignes d'une colonne, je n'arrive pas à obtenir la valeur de la même ligne sur une autre colonne.

---

Pandas, c'est "riche".

On peut faire çà comme çà:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

>>> import pandas as pd >>> d = {'a-b': ['1-2', '2-3'], 'col2': [3, 4]} >>> df = pd.DataFrame(data=d) >>> print(df) a-b col2 0 1-2 3 1 2-3 4 >>> df[['a', 'b']] = df.pop('a-b').str.extract(r'(?P<a>\d)-(?P<b>\d)' , expand=T rue) >>> print(df) col2 a b 0 3 1 2 1 4 2 3 >>>

---

- W