Mise en format de tableaux d'un fichier txt

Version imprimable

06/06/2019, 13h22
troxsa

1 pièce(s) jointe(s)

Mise en format de tableaux d'un fichier txt

Bonjour,

J'ai un gros fichier texte (7 Mo) avec divers tableaux au format, voici a quoi ça ressemble :

Pièce jointe 481338

L'idée est faire la récupération de tous les tableaux qui se trouvent dans le fichier texte en ArrayList (tableau).
Existerait-il un moyen simple avec powershell ?

En vous remerciant d'avance
07/06/2019, 10h01
JeanYvette

Là tout de suite je ne saurais te répondre mais. As-tu, dans ton fichier, à chaque fois le même nombre de colonnes et surtout un séparateur bien défini par tableau ?

De plus, ne pourrais-tu pas spliter ton fichier en plusieurs pour avoir plein de "petits fichiers" ne contenant qu'un tableau chacun ?
07/06/2019, 15h43
troxsa

Bonjour JeanYvette,

Non il peut y avoir plusieurs lignes et plusieurs colonnes de taille différentes, le fichier log avec les tableaux dedans sont générés par des recettes DB2 (SQL), il y a chaque fois différente taille.

Votre idée serait de faire une lecture du fichier (ligne par ligne ?) pour en faire des petits fichiers contenant uniquement les tableaux ?
07/06/2019, 15h50
JeanYvette

Oui ca serait exactement mon idée, ainsi le script parcourrait des fichiers constitués à 100% de tableaux et ainsi, en fonction du besoin, soit générer un tableau global soit pouvoir adapter à du cas par cas si besoin

Après pour cette solution, il faut pouvoir distinguer tableau et texte

Sinon, avez-vous la main sur vos scripts/requêtes SQL qui génèrent les fichiers ? Les modifier/adapter n'est pas imaginable ?
07/06/2019, 16h24
troxsa

Le script (plutôt la requête DB2) génère automatique le log en mettant en forme des tableaux, cela n'est donc pas possible.

Peut-être que votre idée reste la meilleurs faute de n'avoir rien d'autre :)

Donc, lecture du fichier ligne par ligne, je détecte si la ligne contient une "===========" (trim() + split ou replace par ";") supérieure a 2 et je récupérer la ligne de dessus pour avoir le nom des colonnes.
Puis je fais la lecture des autres lignes jusqu’à a avoir une ligne vide pour avoir un tableau complet.

c'est complément possible et plutôt facile a faire je pense.
Qu'en pensez vous ?

Salut,

Citation:

Envoyé par troxsa

Qu'en pensez vous ?

Si tu sais comment déterminer le début et la fin d'un tableau ( le split proposé par JeanYvette) c'est tout à fait possible.
Le principe suivant, via le pipeline, peut être utilisé :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
 
Filter Remove-AuthenticodeSignature{
#([Microsoft.PowerShell.Commands.FileSystemCmdletProviderEncoding] $Encoding="ASCII")
 
 
   function Parse([String] $FileName)
   { #renvoi toutes les lignes sauf celles du bloc de signature
     $isSignatureBloc=$False
     Get-Content -Path $FileName|
     Foreach-Object { 
       switch ($_)  
       {
         "# SIG # Begin signature block"  {$isSignatureBloc=$True;continue}
         "# SIG # End signature block"    {$isSignatureBloc=$False;Continue}
 
         default {
           if ($isSignatureBloc -eq $false)
              #On traite les lignes qui ne se trouvent pas dans le bloc de signature 
            {$_}
         }#default
      }#Switch
     }#Foreach
   }#Parse
 
 if ($_ )
 {  
   #Récupére un nom de fichier créé par l'OS
  $TempFile = [IO.Path]::GetTempFileName()
  $FullPath=Resolve-Path "$_"
  Write-Debug "$TempFile"
  Write-Debug "$FullPath" 
 
 
   #Extrait toutes les lignes sauf la signature dans un fichier temporaire 
  Parse "$FullPath"|Set-Content "$TempFile"
 
   #Ecrase le fichier d'origine à partir du fichier temporaire
   #$FileInfo.Replace ne fonctionne pas car %Temp% 
   #peut être sur un disque différent de celui de la source :/ 
  Get-Content "$TempFile"|Set-Content "$FullPath" 
  Remove-Item "$TempFile" 
 }
 else {Write-Error "[Remove-AuthenticodeSignature] Ce filtre a reçu une donnée `$null du pipeline."}
}

(Un filtre est une fonction ayant uniquement un bloc process, là où une fonction basique n'a qu'un bloc end. Une fonction avancée pouvant implémenter les trois blocs : begin, process et end)

J'avais crée une fonction d'analyse générique, mais pour des structures ayant un nombre de ligne fixe.
Envisager peut être un mixte avec Convert-String
De prime abord je pense qu'il y aura deux passes.

Une ébauche avec un exemple de texte à analyser où le découpage des tableaux est simple à déterminer :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
 
$file='c:\temp\lines'
@'
Nom1 Nom2 Nom3
==============
Col1 Col2 Col3
Col1 Col2 Col3
 
Nom1 Nom2 Nom3 Nom4
===================
Col1 Col2 Col3 Col4
Col1 Col2 Col3 Col4
 
Nom1 Nom2
=========
Col1 Col2
Col1 Col2
'@ > $file
 
 
$DebugPreference='Continue'
$isInsideArray=$False
$CurrentArray=[System.Collections.ArrayList]::new()
 
$Precedent=$null
$Arrays=[System.Collections.ArrayList]::new()
 
Foreach ($line in Get-Content -Path $file)
{
    switch -regex ($Line) {
        '={3,}'  { 
                    Write-Debug "Début de tableau, ajoute le header '$Precedent'"
                    $isInsideArray=$True
                    $CurrentArray.Add($Precedent) > $null
                    continue 
                 }
        '^$'     { 
                    $Count=$CurrentArray.count 
                    if ($Count -gt 0)
                    {
                        Write-Debug "Fin de tableau on le mémorise. Il contient '$Count' élément(s)"
                        $isInsideArray=$False
                        $Arrays.Add(@(,$CurrentArray)) > $null
                        Write-Debug "`tNouvel objet tableau"
                        $CurrentArray=[System.Collections.ArrayList]::new()
                        Write-Debug "`tRAZ du header"
                        $Precedent=$null
                    }
                    Continue
                 }
 
        default {
          if ($isInsideArray)
          { 
            if (-not ($Line.Trim() -eq [string]::Empty) )
            {
               Write-Debug "`tAjoute la ligne '$line'"
               $CurrentArray.Add($line) > $null
            }
          }
          elseif ($null -eq $precedent) 
          { 
             Write-Debug "Mémorise le header '$line'"
             $Precedent=$line 
          }
        }#default
    }#Switch
}#Foreach
Write-Debug "Mémorise le dernier tableau qui  contient '$($CurrentArray.count)' élément(s)"
$Arrays.Add(@(,$CurrentArray)) >$null
 
$Arrays.count
$Arrays[0][0]
 
 
foreach ($T in $Arrays)
{
   foreach ($Current in $T)
   {
     $Csv=foreach ($Line in $Current )
     { 
        $Line.Trim() -Replace ' ',';' 
     }
     Write-warning "`r`n$($Csv|out-string)"
   }
}

Reste qu'avec cette approche, dés que l'on ajoute des lignes entre les tableaux, de déterminer la fin de chaque est plus 'difficile' :-)

14/06/2019, 12h00
troxsa

Merci Laurent pour ton aide :)

Pour ma part je me serai plus orienté sur de la mise en forme avant conversion.

Non ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
$file = @'
Nom1 Nom2 Nom3
==============
Col1 Col2 Col3
Col1 Col2 Col3
 
 
 
Nom1 Nom2 Nom3 Nom4
===================
Col1 Col2 Col3 Col4
Col1 Col2 Col3 Col4
 
Nom1 Nom2
=========
Col1 Col2
Col1 Col2
'@
 
$Arrays = New-Object System.Collections.ArrayList
 
# Supprime les lignes commencant par =
$file = $file -replace '(?m)^=.*\r?\n', ''
 
# Divise par bloc pour chaque double (ou plus) retour ligne
$datas = $file -split '(?m)(?:\r?\n){2,}'
 
# Pour chaque bloc
$datas | ForEach-Object {
    # Convertion en csv
    $csv = ConvertFrom-Csv -InputObject $_ -Delimiter " "
    # Stockage dans Arrays
    $Arrays.Add($csv) | Out-Null
}

16/06/2019, 09h51
Laurent Dardenne
Citation:

Envoyé par ericlm128

Pour ma part je me serai plus orienté sur de la mise en forme avant conversion.

Oui, c'est une autre approche.
Mais ici comme on ne connait pas les spécifications détaillés (la liste des différents cas rencontrés) je trouve malaisé de choisir une implémentation, ceci dit la tienne est plus concise et plus lisible.
Par contre j'ai ceci en résultat d'analyse :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Nom1 Nom2 Nom3 ---- ---- ---- Col1 Col2 Col3 Col1 Col2 Col3 Nom1 Nom2 Nom3 Col1 Col2 Col3 Col1 Col2 Col3 Nom1 Nom2 Col1 Col2 Col1 Col2
Et il n'y qu'un seul tableau contenant l'intégralité des lignes.

Oui ben c'est sur que si tu prend un exemple qui ne marche pas ça ne va pas fonctionner ;)

Tes lignes vides ne le sont pas puisqu'elle commence par un espace. Il n'y à donc pas deux retours lignes contiguë de trouvé pour la division par bloc.
On peux ajouter un peu de robustesse avec le code ci-dessous.

Mon code tout comme le tiens sont du traitement de texte et ne traiterons pas n'importe quoi en entré.
Il faut un minimum de respect de mise en forme attendue.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 $file = @' Nom1 Nom2 Nom3 ---- ---- ---- Col1 Col2 Col3 Col1 Col2 Col3 Nom1 Nom2 Nom3 ===== Col1 Col2 Col3 Col1 Col2 Col3 Nom1 Nom2 Col1 Col2 Col1 Col2 '@ $Arrays = New-Object System.Collections.ArrayList # Divise par bloc pour chaque double (ou plus) retour ligne $datas = $file -split '(?m)(?:\s*\r?\n){2,}' # Pour chaque bloc $datas | ForEach-Object { # Supprime les lignes commencant par =, -, caractère d'espacement $data = $_ -replace '(?m)^[\s\-=].*\r?\n', '' # Si les données sont vide, on passe à l'itération suivante if ($data -match '(?m)^\s*$') { return } # Convertion en csv $csv = ConvertFrom-Csv -InputObject $data -Delimiter " " # Stockage dans Arrays $Arrays.Add($csv) | Out-Null }

16/06/2019, 11h46
Laurent Dardenne
Citation:

Envoyé par ericlm128

Oui ben c'est sur que si tu prend un exemple qui ne marche pas ça ne va pas fonctionner ;)

Je suis d'accord :aie:
J'ai juste fait un copier/coller de ton code, de la page dans la console.
Je ne retrouve pas la colonne 4 dans le résultat, d'où ma remarque:
Code:

1 2 3 4 Nom1 Nom2 Nom3 Nom4 =================== Col1 Col2 Col3 Col4
Le dernier code fonctionne.
16/06/2019, 11h50
Laurent Dardenne

Au temps pour moi, c'est ce foutu formatage de PS qui se base sur la première structure émis dans le pipe :ptdr:
16/06/2019, 12h10
ericlm128

Citation:

c'est ce foutu formatage de PS qui se base sur la première structure émis dans le pipe

Je n'ai pas trop comprit le problème mais si finalement ça fonctionne ça me rassure.

PS a une règle de formatage lors de l'affichage d'un résultat sur la console

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
 $Arrays
 
# Nom1 Nom2 Nom3
# ---- ---- ----
# Col1 Col2 Col3
# Col1 Col2 Col3
# Col1 Col2 Col3
# Col1 Col2 Col3
# Col1 Col2
# Col1 Col2
 
#premier éléments, 3 propriétés PS affiche tous les objets avec 3 mêmes propriétés
$Arrays[0]
 
# Nom1 Nom2 Nom3
# ---- ---- ----
# Col1 Col2 Col3
# Col1 Col2 Col3
 
#Nom 4 n'est pas affiché mais présent sur cet objet
$Arrays[1]
 
# Nom1 Nom2 Nom3 Nom4
# ---- ---- ---- ----
# Col1 Col2 Col3 Col4
# Col1 Col2 Col3 Col4
 
#Nom3 est affiché mais absent des propriétés de cet objet
$Arrays[2]
 
# Nom1 Nom2
# ---- ----
# Col1 Col2
# Col1 Col2

Si on oublie cette règle, on se dit 'le résultat est faux'.