Créer un tableau à plusieurs dimensions

Version imprimable

Bonjour à tous,

Je récolte des données issue de la lecture d'un fichier csv qui ressemble à ça :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
TABLE|ACTION|DATE|HEURE|PIECE|CHAMP|LIGNE|VALEUR <--- Entête non présente dans le fichier
 
SQUOTE|INSERT|01-07-2021|143704|DEVHIL21070001| |SQHNUM|DEVHIL21070001
SQUOTE|UPDATE|01-07-2021|143758|DEVHIL21070001| |QUODAT|12082021
SQUOTED|UPDATE|01-07-2021|144844|DEVHIL21070001|1000|QTY|10
SQUOTED|INSERT|01-07-2021|152017|DEVHIL21070001|2000|ITMREF|STA
SQUOTED|INSERT|01-07-2021|152017|DEVHIL21070001|2000|QTY|1
SQUOTE|DELETE|01-07-2021|162821|DEVHIL21070001| |QUODAT|
SQUOTE|DELETE|01-07-2021|162821|DEVHIL21070001| |SQHNUM|
SQUOTED|DELETE|01-07-2021|162821|DEVHIL21070001|1000|ITMREF|
SQUOTED|DELETE|01-07-2021|162821|DEVHIL21070001|1000|QTY|
SQUOTED|DELETE|01-07-2021|162821|DEVHIL21070001|2000|ITMREF|
SQUOTED|DELETE|01-07-2021|162821|DEVHIL21070001|2000|QTY|

Ce fichier est issue d'une base de données qui réalise une audit par rapport à des actions faites sur des tables et des champs. Je n'ai pas la main sur la structure du résultat. Je dois traiter ce fichier pour mettre à jour une autre base, la mise à jour sera effectué toute les 15mn.

Je cherche à créer un tableau qui aurait cette forme :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[
  DATE [
    HEURE [
      TABLE [
        ACTION [ 
          PIECE [ 
            LIGNE [ <-- pour certaine table
              CHAMP:VALEUR
              (...)
            ]
          ]
        ]
      ]
    ]
  ]
]

Afin d'optimiser les requêtes sql je souhaite grouper les actions, par exemple avec les 3eme lignes du fichier cela donnerait :

Code:

1
2
3
INSERT INTO squote(SQHNUM) VALUES("DEVHIL21070001");
UPDATE squote SET QUODAT= 12082021 WHERE SQHNUM = "DEVHIL21070001";
UPDATE squoted SET QTY = 10 WHERE SQHNUM = "DEVHIL21070001" AND LIGNE = 1000;

Ce qui donnerait :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
[
  01-07-2021 [
    143707 [
      SQUOTE [
        INSERT [
          DEVHIL21070001 [
            'SQHNUM' : 'DEVHIL21070001'
            (...)
          ]
        ]
      ]
    ]
    143758 [
      SQUOTE [
        UPDATE [
          DEVHIL21070001 [
            'QUODAT' : '12082021'
            (...)
          ]
        ]
      ]
    ]
    144844 [
      SQUOTED [
        UPDATE [
          DEVHIL21070001 [
            1000 [
              'qty' : 10
            ]
         ]
       ]
    ]
  ]
]

De cette manière j'aurais juste à parcourir le tableau pour reconstruire les requêtes en respectant l'ordre d'exécution (date, heure).

Ca c'est la théorie mais dans la pratique je n'y arrive pas :( En php je n'aurais aucun problème mais je ne pige pas la logique avec python. Est-ce faisable, pertinent ?

Merci d'avance.

11/08/2021, 13h42
wiztricks

Salut,

Citation:

Envoyé par flipflip

Ca c'est la théorie mais dans la pratique je n'y arrive pas :( En php je n'aurais aucun problème mais je ne pige pas la logique avec python. Est-ce faisable, pertinent ?

La structure de données que vous essayer de fabriquer ressemble aux structures composites qu'on trouve dans les fichiers JSON.

Avec Python, çà s'écrit en composant listes et dictionnaires.
Mais ce sont des structures de données arborescentes pas forcément facile à maîtriser sans avoir acquis les bases du langage.

- W
11/08/2021, 14h03
flipflip
Citation:

Avec Python, çà s'écrit en composant listes et dictionnaires.

J'ai fais pas mal de test et lu pas mal de doc mais il doit me manquer un petit détail.

Avec ce code dans ma boucle de lecture du fichier :
Code:

1 2 if(evt == "INSERT"): tab = [dat[hou["sorder"["INSERT"[ {col:row[7]} ]]]]]
J'obtiens le message

Citation:

tab = [dat[hou["sorder"["INSERT"[ {col:row[7]} ]]]]]
TypeError: string indices must be integers
11/08/2021, 14h59
wiztricks

Salut,

L'erreur dit juste que dans "sorder"["INSERT"..., "sorder" est la chaine de caractères, "[" ce qui signale qu'on va l'accéder via ses index... et qu'"INSERT" n'est pas un entier qui pourrait servir d'indice.

Et si vous ne vous en sortez pas, c'est que vous n'êtes pas familier avec les types de bases. Ce qui se soigne a coup de tuto. et d'exercices pour apprendre à maîtriser.

- W

Salut,

Je continue dans la compréhension des list python

J'arrive à ce code qui déjà ne me sort plus d'erreur :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
elif(evt == "INSERT"):
  if not tab:
   # Dans ce cas tab est vide
   # dat = "11-08-2021"
   # hou = "150700"
   # col = itmref
   # row[7] = '0-10418'
    tab.append([dat, [hou, ["sorder", ["INSERT", [ {col:row[7]} ]]]]])
  else:
   # Dans ce cas tab n'est pas vide
   # dat = "11-08-2021"
   # hou = "150700"
   # col = qty
   # row[7] = 10
    tab.insert(0, [dat, [hou, ["sorder", ["INSERT", [ {col:row[7]} ]]]]])

Le résultat est

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
[
  [
    '11-08-2021', [
      '150700', [
        'sorder', [
          'INSERT', [
           {'itmref': '0-10418'}
          ]
        ]
      ]
    ]
  ],
  [
  '11-08-2021', [
    '150700', [
      'sorder', [
       'INSERT', [
        {'qty': 10}
       ]
     ]
    ]
  ]
]
]

Alors que j'essaie d'obtenir

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
[
  [
    '11-08-2021', [
      '150700', [
        'sorder', [
          'INSERT', [
           {'itmref': '0-10418'},
           {'qty': 10}
          ]
        ]
      ]
    ]
  ]
]

11/08/2021, 16h17
wiztricks

Avec une liste de listes imbriquées de paires [ a, [ b, [ c, [ d, [....]]]], il faut penser Lisp pour chercher et trouver la liste qui commence par a, b, c et ajouter la différence au même niveau que d. Et ça devrait amener à modifier la représentation pour savoir qui est chainé avec qui...
=> déjà vous avez un soucis de conception.

Pour le reste pourquoi faire des listes "emboités" plutôt qu'une liste avec [ a, b, c ] comme premier élément (un truc "flat") et la liste des feuilles qui vont avec comme 2ème élément?

Si on Pythonize, l'ensemble '11-08-2021', '150700', 'sorder', 'INSERT' est un tuple d'immutables qui pourrait être clef d'un dictionnaire associée à une valeur qui serait un objet dictionnaire {'itmref': '0-10418', 'qty': 10}.

Mais je vous le répète encore, des structures de données composites ne sont simples à maîtriser que si on maîtrise déjà les structures simples. Sinon vous n'allez pas pouvoir concevoir clairement si ce que vous êtes parti à faire va fonctionner et encore moins le faire marcher.

- W
11/08/2021, 17h19
flipflip

Citation:

Avec une liste de listes imbriquées de paires [ a, [ b, [ c, [ d, [....]]]], il faut penser Lisp pour chercher et trouver la liste qui commence par a, b, c et ajouter la différence au même niveau que d. Et ça devrait amener à modifier la représentation pour savoir qui est chainé avec qui...
=> déjà vous avez un soucis de conception.

Je dois avoir aussi un problème de compréhension car je n'ai rien compris à ce que vous essayez de me dire ;) Je sais parfaitement que j'ai des lacunes, je sais parfaitement qu'il faut comprendre la base mais parfois certain projet vont plus loin que la base et l'apprentissage de celle-ci se fait en même temps que des notions plus complexe et c'est aussi un challenge car print "Hello word" on a vu mieux comme défi.

Si j'essaie tout de même de transposer votre proposition, ma liste de listes imbriqués deviendrait

Code:

['11-08-2021', '150700', 'sorder', 'INSERT', [ {'itmref':'0-10418'} ]]

Et si j'ajoute une valeur j'obtiens

Code:

['11-08-2021', '150700', 'sorder', 'INSERT', [ {'itmref':'0-10418'}, {'qty':'10'} ]]

Salut,

Après avoir lu, lu et re-lu de la doc je pense être arrivé au résultat souhaité :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
lines = csv.reader(open(fileSrc, "rb"), delimiter="|")
for row in lines:
  if not tab:
    # création de la 1ere entrée dans la liste
    tab.append([key])
  else:
    try:
      # Recherche de l'index
      x = [x for x in tab if key in x][0]
      # Ajout du dictionnaire dans l'index de la liste
      tab[tab.index(x)].append({row[6]:row[7]})
    except:
      # l'index n'a pas été trouvé
      # ajout de l'index
      tab.append([key])
      # Recherche de l'index qu'on vient d'ajouter
      x = [x for x in tab if key in x][0]
      # Ajout du dictionnaire dans l'index de la liste
      tab[tab.index(x)].append({row[6]:row[7]})

C'est un peu brut et il y a sûrement moyen de factoriser tout ça.

Edit : En plus light

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
def searchIndex(tab, key):
  try:
    x = [x for x in tab if key in x][0]
    return x
  except:
    return False
 
def readFile():
  lines = csv.reader(open(fileSrc, "rb"), delimiter="|")
  for row in lines:
    index = searchIndex(tab, key)
    if(index is False): 
      tab.append([key])
      index = searchIndex(tab, key)
      tab[tab.index(index)].append({col:nval})
    else:
      tab[tab.index(index)].append({col:nval})
 
def main(argv=None):
  readFile()

12/08/2021, 13h16
Sve@r
Bonjour

Citation:

Envoyé par flipflip

if(index is False)

Déjà l'emploi des parenthèses est inutile. Mais surtout on ne teste pas les booléens de cette façon car certaines valeurs "considérées" comme True/False ne le sont pas réellement.
Exemple...
Code:

1 2 >>> "ok" if "toto" is True else "bad" "bad"
... alors que la string "toto" non vide est assimilée au booléen "vrai" mais n'est pas réellement True.
On peut y arriver via un cast...
Code:

1 2 >>> "ok" if bool("toto") is True else "bad" "ok"
... mais le mieux est de laisser simplement Python traiter l'exression lui-même
Code:

1 2 >>> "ok" if "toto" else "bad" "ok"
=> if not index
Citation:
Envoyé par flipflip

Code:

1 2 3 4 5 6 if (index is False): ... ... tab[tab.index(index)].append({col:nval}) else: tab[tab.index(index)].append({col:nval})
8O 8O 8O
Code:

1 2 3 4 if not index: ... ... tab[tab.index(index)].append({col:nval})

Salut,

Citation:

Envoyé par flipflip

C'est un peu brut et il y a sûrement moyen de factoriser tout ça.

Vous auriez intérêt à utiliser un dictionnaire (comme je vous l'ai déjà suggéré).

Après un code comme çà:
Code:

1 2 3 4 5 6 7 8 9 10 def readFile(): lines = csv.reader(open(fileSrc, "rb"), delimiter="|") for row in lines: index = searchIndex(tab, key) if(index is False): tab.append([key]) index = searchIndex(tab, key) tab[tab.index(index)].append({col:nval}) else: tab[tab.index(index)].append({col:nval})
c'est juste illisible!

L'intention de chercher si quelque chose existe déjà pour y ajouter ... ou le créer.
Ligne 4, l'instruction index = searchIndex(tab, key) ignore le contenu de la ligne récupérée dans row (et on ne sait pas d'où sort key).

Pour le reste, comme on ne sait pas ce que sont tab et key... on peut craindre le pire.

Si çà fonctionne tant mieux pour vous...

- W

Citation:

Ligne 4, l'instruction index = searchIndex(tab, key) ignore le contenu de la ligne récupérée dans row (et on ne sait pas d'où sort key).

Désolé j'ai oublié des lignes dans mon copier/coller (j'ai ajouté la modification if not index proposé par Sve@r)
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 def searchIndex(tab, key): try: x = [x for x in tab if key in x][0] return x except: return False def readFile(): tab = [] lines = csv.reader(open(fileSrc, "rb"), delimiter="|") for row in lines: dat = row[2] hou = row[3] nval = row[7] col = row[6] for car in "()": col = col.replace(car, "") (...) key = dat + '-' + hou + '-' + "sorder" + "-INSERT" + "-" + row[4] index = searchIndex(tab, key) if not index: tab.append([key]) index = searchIndex(tab, key) tab[tab.index(index)].append({col:nval}) def main(argv=None): readFile()
Citation:

Vous auriez intérêt à utiliser un dictionnaire (comme je vous l'ai déjà suggéré).

Je ne comprend pas pourquoi utiliser un dictionnaire au lieu d'une liste serait mieux dans mon cas ? Je suis prêt à changer tout mon code mais en l'état, sans plus d'informations de votre part, je ne vois pas ce qui vous dérange. Aider sans donner la réponse je suis pour, mais à un moment il faut donner le minimum pour que les autres comprennes. Les exemples donnés par Sve@r m'ont largement suffit pour comprendre mon erreur et pourtant il ne m'a pas donné la solution toute prête. Si l'objectif de vos interventions est de déblatérer sur des concepts de dev et dénigrer le travail d'un adminSys qui s'essaie à la programmation alors c'est réussi, ou en tout cas c'est mon ressenti.

Citation:

Déjà l'emploi des parenthèses est inutile. Mais surtout on ne teste pas les booléens de cette façon car certaines valeurs "considérées" comme True/False ne le sont pas réellement.

Effectivement c'est mieux ainsi.

12/08/2021, 16h19
wiztricks

Salut,

Citation:

Envoyé par flipflip

Je suis prêt à changer tout mon code mais en l'état, sans plus d'informations de votre part, je ne vois pas ce qui vous dérange. Aider sans donner la réponse je suis pour, mais à un moment il faut donner le minimum pour que les autres comprennes.

Si on me dit pense à XYZ, ça va t'aider pour ce que tu veux faire... soit je sais ce qu'est XYZ et j'ai déjà réfléchi à cette option et je sais dire pourquoi je ne l'ai pas retenue.

Soit je n'ai pas trop vu ce que ça peut apporter... et je demande des précisions.

Comme j'ai déjà écrit:

Citation:

Si on Pythonize, l'ensemble '11-08-2021', '150700', 'sorder', 'INSERT' est un tuple d'immutables qui pourrait être clef d'un dictionnaire associée à une valeur qui serait un objet dictionnaire {'itmref': '0-10418', 'qty': 10}.

pour montrer comment l'utiliser et que ça ne vous interpelle pas plus que ça...

On est dans l'ignorance de ce que peut être XYZ...
Pas grave: il y a internet, des tutos, .... pour se documenter et voir ce qu'on pourrait en faire quitte à revenir avec des questions.

Je pense vous avoir donné un minimum de truc à gratter.
Après si ça vous passe par dessus la tête, honnêtement ça ne nous empêchera pas de dormir ce soit (ni vous ni moi).

Citation:

Envoyé par flipflip

Si l'objectif de vos interventions est de déblatérer sur des concepts de dev et dénigrer le travail d'un adminSys qui s'essaie à la programmation alors c'est réussi, ou en tout cas c'est mon ressenti.

Là vous manifestez juste un complexe d'infériorité.
Les dictionnaires (table de hash) sont une des structures de données de base du langage et de la programmation. On peut faire sans... mais c'est dommage.

- W
12/08/2021, 16h28
flipflip

Bonne nuit alors

Merci tout de même pour "l'aide".
12/08/2021, 16h47
Sve@r
Citation:
Envoyé par flipflip

Code:

1 2 3 4 5 6 def searchIndex(tab, key): try: x = [x for x in tab if key in x][0] return x except: return False
Là il y a encore deux soucis
1. on essaye d'éviter le "except all" au bénéfice d'un ciblage plus particulier des soucis possibles. Surtout que "except" permet de cibler plusieurs trucs d'un coup via le tuple => except (truc1, truc2, truc3). Ici visiblement tu t'attends soit à avoir un truc, soit à ne pas en avoir et dans ce cas l'indice [0] te renverra un IndexError => except IndexError. Accessoirement peut-être riche d'utiliser un gestionnaire d'exception là où un simple test "tableau vide/tableau non vide" aurait suffi.
2. plus subtil: que se passe-t-il si ta fonction retourne 0? 0 en Python est assimilé au booléen "False", et donc, à moins de tester explicitement False (ce qui ne se fait jamais), l'appelant ne pourra pas faire la distinction entre "la fonction a trouvé une valeur et l'a retournée" et "la fonction n'a rien trouvé". Si tu dois utiliser une valeur particulière pour "je n'ai pas trouvé" tu peux utiliser None qui est faite pour ça. Et du côté appelant, là lui il pourra tester is/is not None et ça c'est permis et c'est même l'instruction à privilégier pour cette valeur particulière car l'opérateur "is" est le seul qui ne puisse pas être surchargé (personnalisé)
Code:

1 2 3 def searchIndex(tab, key): x = [x for x in tab if key in x] return x[0] if x else None
Citation:
Envoyé par flipflip

Code:

1 2 3 col = row[6] for car in "()": col = col.replace(car, "")
Code:

1 2 import re col=re.sub("[()]", "", row[6])
... mais tu n'es pas obligé de connaitre les regex (enfin pas encore).
16/08/2021, 11h41
flipflip
Bonjour,
Code:

1 2 import re col=re.sub("[()]", "", row[6])
Citation:

Là il y a encore deux soucis

on essaye d'éviter le "except all" au bénéfice d'un ciblage plus particulier des soucis possibles. Surtout que "except" permet de cibler plusieurs trucs d'un coup via le tuple => except (truc1, truc2, truc3). Ici visiblement tu t'attends soit à avoir un truc, soit à ne pas en avoir et dans ce cas l'indice [0] te renverra un IndexError => except IndexError. Accessoirement peut-être riche d'utiliser un gestionnaire d'exception là où un simple test "tableau vide/tableau non vide" aurait suffi.
plus subtil: que se passe-t-il si ta fonction retourne 0? 0 en Python est assimilé au booléen "False", et donc, à moins de tester explicitement False (ce qui ne se fait jamais), l'appelant ne pourra pas faire la distinction entre "la fonction a trouvé une valeur et l'a retournée" et "la fonction n'a rien trouvé". Si tu dois utiliser une valeur particulière pour "je n'ai pas trouvé" tu peux utiliser None qui est faite pour ça. Et du côté appelant, là lui il pourra tester is/is not None et ça c'est permis et c'est même l'instruction à privilégier pour cette valeur particulière car l'opérateur "is" est le seul qui ne puisse pas être surchargé (personnalisé)

Je prends le temps de digérer tout ça et je fais des tests.

Merci.