Discussion :

[vega95]

Bonjour,
je ne comprends pas pourquoi la 2 ème boucle ne s'exécute qu'une fois (celle ventes). Une fois le premier passage effectué, ligneA reste bloqué sur la dernière valeure prise dans ventes. Du coup, la boucle ne se relance pas pour la deuxième valeur de ligne. Comment faire un "RAZ" pour le pointeur de lecture du fichier ventes ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#! /usr/bin/env python
#-*- coding: iso-8859-15 -*-
 
import csv
#print csv.__doc__ 
#print dir(csv)
articles = csv.reader(open("TRAV288906-traitement4.CSV","rb"),delimiter=';')
ventes = csv.reader(open("TRAV4_D00_003.CSV","rb"),delimiter=';')
newarticles = csv.writer(open("trav2w.csv","wb"),delimiter=';')
for ligne in articles:
    if ligne:
        numart = int(ligne[0])
    for ligneA in ventes:
        if ligneA:
            numart_vt = int(ligneA[0])
        if numart == numart_vt:
            print "Oky"                             
newarticles.close()
ventes.close()
articles.close()

François

[PauseKawa]

Bonsoir vega95,

Cela ne viens pas de ta boucle (si tu donne tout le code).

Pourquoi ne pas déplacer ton ventes = csv.reader(open("TRAV4_D00_003.CSV","rb"),delimiter=';') / ventes.close() dans for ligne in articles: pour tester ?

@+

[vega95]

J'y avais songé mais le pb c'est que le fichier ventes en question fait 1,2 Go. Je ne peux pas l'ouvrir et fermer n fois sous peine d'y passer un certain temps

François

[vega95]

j'ai aussi essayé un ventes.seek(0) mais il me répond :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

AttributeError: '_csv.reader' object has no attribute 'seek'

François

[tyrtamos]

Bonjour,

Je ne connais pas le module cvs, mais voilà 2 idées à tenter:

1- ouvre le fichier ventes séparément:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
fv = open("TRAV4_D00_003.CSV","rb")
ventes = csv.reader(fv,delimiter=';')

et applique fv.seek(0) juste avant le début de boucle "for ligneA in ventes". Cela ne marchera que si en fin de boucle les fonctions cvs.Reader ne ferme pas le fichier fv par un fv.close().

2- regarde dans la notice du module cvs du côté de DictReader. Ça a l'air de transformer le fichier en dictionnaire. Mais je ne sais pas s'il s'agit de le mettre en mémoire ou d'en normaliser l'accès comme un dictionnaire.

Tyrtamos

[nardo47]

Salut,

une autre piste : si tu ne travailles que sur les premières colonnes de chacun des fichiers csv, tu peux récupérer tes infos sous forme de liste :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
articles = [int(ligne[0]) for ligne in csv.reader(open("TRAV288906traitement4.CSV","rb"),delimiter=';') if ligne]
 
ventes = [int(ligne[0]) for ligne in csv.reader(open("TRAV4_D00_003.CSV","rb"),delimiter=';') if ligne]

Je présume que tes fichiers, bien qu'ayant une taille monstrueuse, comportent assez peu de lignes et que la majorité de leur taille mémoire est justifiée par des infos annexes à ton problème.

Je présume aussi que tu ne voudras jamais récupérer d'autres colonnes (genre : nom des articles, quantités vendues, prix, etc.), même si cela peut se modifier assez vite.
Après, si tu as à terme dee récupérer l'intégralité de tes fichiers, laisse tomber mon approche.

Le fseek de Tyrtamos est très bien.

Et le DictReader permet de lire chaque ligne en tant que dictionnaire, dont les index sont les titres des colonnes et les valeurs sont les valeurs des colonnes de la ligne.
C'est un itérateur, et il va chercher tout seul les titres des colonnes.
C'est intéressant, mais pas si on ne cherche qu'à récupérer la première colonne des fichiers.
Mais je penserais à m'en servir, merci Tyrtamos.

Dernier point : le module csv ne supporte pas l'encodage : cette info t'intéressera si tu veux récupérer des strings non-ASCII. => n'utilise pas csv pour cela !

Bon courage !

[vega95]

Merci pour vos réponses et idées. L'idée de Tyrtamos marche nickel

Résolu donc

merci,
François