Problème itération d'un fichier plat avec variables temporaires en fonction d'une clé

Version imprimable

12/02/2014, 15h46
davtypo3

Problème itération d'un fichier plat avec variables temporaires en fonction d'une clé

Bonjour,

Je suis sous Python 2.5 et j'ai un problème algorithmique de base voici mon besoin:

Ma finalité est de produire un fichier XML bien encapsulé à partir d'un fichier plat .txt

Dans mon fichier source, pour chaque ligne j'ai une clé (avec séparateur "_"):

Exemple:
07._LEZ_27.7.f_XEU_FRA_LEZ
07._LEZ_27.7.g_XEU_FRA_COD
07._LEZ_27.7.g_XEU_FRA_HET
2A-14_JAX_27.8.b_XEU_ESP_JAX
7X7A-C_WHG_27.7.f_XEU_FRA_WHG

Voici le résultat attendu:
Un tri par => index(0) & index(1) / index(2) & index(3) & index(4) / index(5)

C'est à dire en sortie:
07._LEZ

27.7.f_XEU_FRA
LEZ
27.7.g_XEU_FRA
COD
HET
2A-14

JAX_27.8.b_XEU_ESP
JAX
7X7A-C

WHG_27.7.f_XEU_FRA
WHG

Avez-vous des idées de pseudo code avec des variables temporaires pour me permettre de gérer ceci?
Merci beaucoup pour votre aide..
12/02/2014, 16h27
wiztricks
Citation:

Envoyé par davtypo3

Dans mon fichier source, pour chaque ligne j'ai une clé (avec séparateur "_"):

Ca commence par:
Code:

1 2 3 4 5 >>> s = '07._LEZ_27.7.f_XEU_FRA_LEZ' >>> z = s.split('_') >>> z ['07.', 'LEZ', '27.7.f', 'XEU', 'FRA', 'LEZ'] >>>
Citation:

Envoyé par davtypo3

Avez-vous des idées de pseudo code avec des variables temporaires pour me permettre de gérer ceci?
Code:

1 2 3 4 5 6 >>> '_'.join(z[:2]) '07._LEZ' >>> '_'.join(z[2:5]) '27.7.f_XEU_FRA' >>> z[-1] 'LEZ'
Maintenant, vous avez une première fonction:
Code:

1 2 3 4 5 6 >>> def zsplit(line): ... z = line.split('_') ... return ''.join(z[:2]), ''.join(z[2:5]), z[-1] ... >>> zsplit(s) ('07.LEZ', '27.7.fXEUFRA', 'LEZ')
Le reste n'est pas plus complique, si?
- W
12/02/2014, 17h11
davtypo3

Merci de votre aide,

En fait je n'ai pas de problème pour la récupération des valeurs, c'est plutôt l'algo qui m'en pose, pour générer la sortie le plus simplement possible...
Une idée?
12/02/2014, 17h30
Julien N

Salut,

A vu de nez, je tenterais une approche à l'aide de dictionnaires.

J
12/02/2014, 17h38
wiztricks
Salut,
Soit une liste bien rangée (L[i] < L[i+1], qqs i)

Code:

>>> L = [ "AAA", "AAB", "ABA", "BAA" ]

Pour faire les affichages décales, on fabrique une petite fonction:
Code:

1 2 3 4 >>> def print_at(s, level): ... blanks = ' ' * (level * 2) ... print (blanks, s) ...
Puis on traite le premier élément (qui devient le dernier):
Code:

1 2 3 4 5 6 7 >>> last = L[0] >>> for ix, s in enumerate(last): ... print_at(s, ix) ... A A A
Et on s'occupe du reste:
Code:

1 2 3 4 5 6 7 8 9 10 11 >>> for t in L[1:]: ... for ix, s in enumerate(t): ... if s != last[ix]: ... print_at(s, ix) ... last = t ... B B A B A
- W
PS: Python est polymorphique "AAA" ou un tuple a 3 éléments c'est "pareil" (ici).

Salut,

En reprenant un peu la notation de Wiztricks, mais en partant sur un dictionnaire, on peut faire ceci:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 l = ['07._LEZ_27.7.f_XEU_FRA_LEZ', '07._LEZ_27.7.g_XEU_FRA_COD', '07._LEZ_27.7.g_XEU_FRA_HET', '2A-14_JAX_27.8.b_XEU_ESP_JAX', '7X7A-C_WHG_27.7.f_XEU_FRA_WHG'] dico = {} for s in l: z = s.split('_') dico.setdefault('_'.join(z[0:2]),{}).setdefault('_'.join(z[2:5]),[]).append(z[5:]) print dico
L'intérêt du dictionnaire ici est l'unicité des clés, ce qui permet de faire ceci:

07._LEZ
27.7.f_XEU_FRA
LEZ
27.7.g_XEU_FRA
COD
HET

Les deux chaines en gras sont des valeurs différentes, mais ayant la même "clé" 27.7.g_XEU_FRA. En reprenant les idées de Wiztricks, tu ne devrait pas avoir de problème pour assembler ton code.

J

PS: Oui, la construction de mon dico est dégeulasse, mais j'assume!

Déjà merci,
juste pour préciser, j'ai 4 jours d'XP en Python...
Donc la synthaxe de wiztricks (qui est problablement la plus pythonique), j'ai un peu de mal à la comprendre, mais je vais regarder quand même, et essayer d'intégrer ça logique, voici ce que j'ai produit hier:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
 
            # Open source file
            oFileHandle = open(self.sInputFile, 'rb');
            oReader = csv.reader(oFileHandle, delimiter = '\t'); # Reader pointer
 
            # Skip header lines if needed
            if self.iStartRow >=0:
                for i in xrange(self.iStartRow):
                    i += 1; # Do nothing, but use the variable, because we want to avoid "Warning"
                    oReader.next(); # Skip line N time regarding self.iStartRow
 
            # Set dictionary
            aDictionary = {};
            i = 0;
            for row in oReader:
                i += 1; # Hack, add [i] increment because sorted() delete duplicate key when sorting
                aDictionary[row[19] + '_' + str(i)] = row; # key, value[row]
 
            # Start iterate sorted dictionary
            sTempSpecifiedRegional = '';
            sTempSpecifiedReportedArea = '';
 
            for key in sorted(aDictionary.iterkeys()):
                aRow = aDictionary[key]; # Dictionary row
                    print str(aRow[19]);   
                    sPattern = aRow[19].split('_');
 
                    sSpecifiedRegional = sPattern[0] + sPattern[1];
                    sSpecifiedReportedArea = sPattern[2] + sPattern[3] + sPattern[4];                                      
                    sQuantifiesReportedCatch = sPattern[5];
 
                    if sSpecifiedRegional <> sTempSpecifiedRegional:
                        print 'step1 : ', sSpecifiedRegional;
 
                        if sSpecifiedReportedArea <> sTempSpecifiedReportedArea:
                            print '\tstep2 : ' + sSpecifiedReportedArea;
                            print '\t\tstep3 : ' + sQuantifiesReportedCatch;
                            sTempSpecifiedReportedArea = sSpecifiedReportedArea;
                        sTempSpecifiedRegional = sSpecifiedRegional;
                    else:
                        print '\t\tstep4 : ' + sQuantifiesReportedCatch;

Voici l'ouput, cela semble me convenir pour le moment, je vais bien tester dans tous les sens...

Citation:

07._LEZ_27.7.f_XEU_FRA_COD
step1 : 07.LEZ
step2 : 27.7.fXEUFRA
step3 : COD
07._LEZ_27.7.f_XEU_FRA_LEZ
step4 : LEZ
2A-14_JAX_27.8.b_XEU_ESP_JAX
step1 : 2A-14JAX
step2 : 27.8.bXEUESP
step3 : JAX
7X7A-C_WHG_27.7.f_XEU_FRA_WHG
step1 : 7X7A-CWHG
step2 : 27.7.fXEUFRA
step3 : WHG

13/02/2014, 11h01
davtypo3

1 pièce(s) jointe(s)

Ok, finalement ça fonctionne, mais avec mon code, c'est pas du tout optimisé (j'ai + de 60 lignes), pouvez-vous jeter un oeil entre la ligne 103 et 164 (ne pas tenir compte de la création des nodes XML), c'est la logique de récupération des données dans des variables temporaires qui m’intéresse...

Merci beaucoup,
15/02/2014, 15h10
wiztricks

Salut,

Si votre code fonctionne tant mieux pour vous.

247 lignes de scripts reparties en 4 fonctions: main, __init__, build_regional_report, write_xml_report.
build_regional_report fait 140 lignes a elle seule: normal vu le nombre d'actions qu'elle effectue.
Tel que vous avez organise votre code, vous auriez très bien pu vous passer de créer ces quatre fonctions.
Après tout, aucune n’étant appelée plus d'une fois, techniquement elles ne servent a rien.

Vous avez des outils de vérification de qualité du code qui s'amusent a regarder le nombre d'instructions par fonctions: des que ça dépasse 10, vous devez vous poser des questions.

- W