Discussion :

[eric_du_80]

Bonjour à tous,

j'ai un fichier .CSV à traiter d'une taille de plusieurs gigaoctets !

Je souhaite donc, sans l'ouvrir, y rechercher une valeur et le cas échéant, extraire la ligne correspondante.
Le résultat serait un nouveau .csv ne comportant que les lignes contenant la valeur recherchée.

A titre info, un grep de 2 heures m'a permis de confirmer la présence de cette valeur à 1037 reprises.
Malheureusement, j'ai besoin des éléments qui s'y rattachent.

J'espère être suffisamment clair dans ma demande.

Merci de votre aide et bonne journée.

[VinsS]

Salut,

D'après la doc [0], csv.reader retourne un object itérateur, donc sans charger le fichier en mémoire.

Essaye avec l'exemple donné dans cette doc pour commencer.

[0] https://docs.python.org/3/library/csv.html#csv.reader

[eric_du_80]

Merci de votre collaboration.

Je ne vois pas comment transposer l'exemple à mes besoins (fichier d'origine/chaîne de caractère recherchée/fichier de sortie).
Je n'ai malheureusement pas suffisamment de connaissances dans ce domaine, bien que je sois quasi-certain qu'il peut y répondre.

J'aimerais obtenir une commande.py prête à l'emploi (en transposant mes références de fichiers et de chaînes de caractère bien sûr).

Merci encore.

[Sve@r]

Bonjour

Je ne vois pas comment transposer l'exemple à mes besoins (fichier d'origine/chaîne de caractère recherchée/fichier de sortie).

C'est pourtant pas compliqué.
Je retape l'exemple en y mettant des commentaires et en supprimant toutes les fioritures

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
# Ouverture CSV - Ici tu y mets donc ton propre fichier à ouvrir
csvfile=open('eggs.csv', newline='')
 
# Création de l'itérateur de lecture
spamreader = csv.reader(csvfile, delimiter=' ', quotechar='|')
 
# Traitement de chaque ligne du fichier
for row in spamreader:
	# Traitement des colonnes de la ligne (stockées dans le tableau "row") - Donc peu importe que la ligne possède 5 ou 500 colonnes
	print(', '.join(row))
 
# Fermeture CSV
csvfile.close()

Donc voilà. Ne te reste qu'à voir quel row[x] tu as besoin pour faire ton traitement et le mettre à la place du print().

J'aimerais obtenir une commande.py prête à l'emploi (en transposant mes références de fichiers et de chaînes de caractère bien sûr).

Bien sûr...

[wiztricks]

Salut,

A titre info, un grep de 2 heures m'a permis de confirmer la présence de cette valeur à 1037 reprises.
Malheureusement, j'ai besoin des éléments qui s'y rattachent.

Si vous savez trier vos lignes avec "grep", vous savez créer un nouveau fichier avec les 1037 lignes qui matchent (en redirigeant la sortie).
Et s'il y a des éléments qui s'y rattachent, traduire cela en Python n'y changera pas grand chose: on ne sait pas ce qu'ils sont.

- W

[BufferBob]

salut,

un grep de 2 heures

c'est absurde un temps d'accès pareil, perso ça fait un bail que j'aurai éclaté le fichier en quelques milliers d'autres, en une arborescence, ou dans une base de données
le format csv n'est clairement pas adapté au besoin ici et l'accès séquentiel aux données représente le principal goulot d'étranglement.
au delà il est aussi peut-être possible d'accélérer un peu les traitements avec les bonnes options de grep (comme -F par exemple), mais ça n'est qu'une rustine.

[eric_du_80]

Bonjour,
j'ai effectivement utilisé la fonction grep et j'ai récupéré les 1037 lignes qui m'intéressent.
Je pensais pouvoir obtenir un petit script en python ou autre qui me permette d'automatiser cette recherche, car elle risque de se reproduire !!
Encore merci pour votre aide.

[wiztricks]

j'ai effectivement utilisé la fonction grep et j'ai récupéré les 1037 lignes qui m'intéressent.

Je pensais pouvoir obtenir un petit script en python ou autre qui me permette d'automatiser cette recherche, car elle risque de se reproduire !

Rien ne vous empêche de mettre ces instructions grep dans un script BASH et passer en paramètre noms de fichiers et chaine à rechercher.

Après comme le fait parfois remarquer Sve@r, ici, c'est pas pronto Python: on ne code pas pour vous et si vous voulez programmer avec Python, il faut commencer par apprendre et vous avez plein de tutos. pour çà.

- W