Script PowerShell - Traitement de données

**Hujino** · 19/07/2019, 09h45

Bonjour,

Je suis débutant sur PowerShell

Je souhaite extraire un .zip pour aller dans le dossier extrait pour récupérer une log et faire des traitements dessus.

Sous linux, j'ai l'habitude d'utiliser awk, sed et grep. Sur Windows, j'ai dû mal avec le Select-String en prenant plusieurs mots-clé. Avec un mot clé ça marche, dès que j'en mets deux, j'ai aucun retour.

Script en question :

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
##
##    Def variable
##
 
$date = Get-Date
$year = $date.year
$month = Get-Date -format "MM"
$day = $date.day
#"$day.$month.$year"
$directory = "F:\Exploitation\chemin\fichier\$year\$month\$day"
$file_u = "fichier_$year.$month.$day.*"
$log_deploy = "fichier_$year.$month.$day.*.7z"
$source = $directory
 
##
##    script
##
 
cd $directory
if (!(Test-Path "deploy_$year.$month.$day.*")) {
  Write-Output "Le dossier est absent"
  Function Expand-Archive([string]$archive, [string]$source) {
    $7z_Application = "D:\applicat\7-Zip\7z.exe"
    $7z_Arguments = @(
        'x'                            ## eXtract files with full paths
        '-y'                        ## assume Yes on all queries
        "`"-o$($source)`""        ## set Output directory
        "`"$($archive)`""                ## <archive_name>
    )
    & $7z_Application $7z_Arguments
 
    Write-Host "extract ok"
}
}
else{
    Write-Output "Ok"
}
 
 
cd $file_u
 
Get-Content -Path F:\Exploitation\chemin\*.log | Select-String -Pattern mot1,'Fail'

Est-il possible d'avoir vos avis sur mon script ?

En vous remerciant,

**Laurent Dardenne** · 19/07/2019, 14h05

Salut,
ceci fonctionne :

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
$file='c:\temp\test.txt'
@'
ceci est le mot1
fail
mot1
fail du mot1
no
yes
 
------mot
Failure
'@ > $File
gc $file | Select-String -Pattern mot1,'Fail' 
 
# ceci est le mot1
# fail
# mot1
# fail du mot1
# Failure

Vérifie l'encodage des fichiers de log.

**Hujino** · 19/07/2019, 14h21

Bonjour,

Merci pour ta proposition,

J'ai aussi testé avec la commande findstr qui me sort un meilleur résultat.

Est-il possible d'éviter les doublons + n'affiche que le mot1 par rapport à mes mot-clé ?

Du genre :

mot1_test1
mot1_test2
mot1_test3
mot1_test4

Comme ceci avec un retour à la ligne pour une meilleure visibilité.

**Laurent Dardenne** · 19/07/2019, 15h40

Envoyé par Hujino

Est-il possible d'éviter les doublons + n'affiche que le mot1 par rapport à mes mot-clé ?

Du genre :

mot1_test1
mot1_test2
mot1_test3
mot1_test4

Je n'ai pas compris.
Tu ne précises que le résultat attendu et pas le texte d'origine (un exemple simple peut suffire).

Envoyé par Hujino

Comme ceci avec un retour à la ligne pour une meilleure visibilité.

Ceci est du formatage de résultat, le début étant d'avoir le résultat attendu :-)

**Hujino** · 19/07/2019, 15h43

Envoyé par Laurent Dardenne

Je n'ai pas compris.
Tu ne précises que le résultat attendu et pas le texte d'origine (un exemple simple peut suffire).

Ceci est du formatage de résultat, le début étant d'avoir le résultat attendu :-)

Je vais chercher des informations dans un fichier log assez conséquent où je dois retrouver des informations cruciales pour ensuite le mettre en forme et l'intégrer sur un syslog par exemple

**Laurent Dardenne** · 19/07/2019, 15h46

Envoyé par Hujino

Je vais chercher des informations dans un fichier log assez conséquent où je dois retrouver des informations cruciales pour ensuite le mettre en forme et l'intégrer sur un syslog par exemple

ça je l'ai compris, c'est l'exemple de doublons qui n'est pas explicite. D'où ma demande d'exemple, un jeu de test...

**Hujino** · 19/07/2019, 15h48

Envoyé par Laurent Dardenne

ça je l'ai compris, c'est l'exemple de doublons qui n'est pas explicite. D'où ma demande d'exemple, un jeu de test...

J'ai caché le vrai mot, cependant pour te donner un exemple dans un fichier log, j'ai plusieurs nom de serveurs qui apparaissent plusieurs fois et qui indiquent la même erreur. Dans ce cas, il est inutile de l'afficher deux fois

**Laurent Dardenne** · 19/07/2019, 16h10

A priori, dans ce cas il te faut filtrer le résultat avec le cmdlet Group-Object:

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
 
$file='c:\temp\test.txt'
@'
ceci est le mot1
fail
mot1
fail du mot1
no
yes
 
------mot
Failure
'@ > $File
 
$Result=gc $file | Select-String -Pattern mot1,'Fail'|Add-member -MemberType scriptProperty -Name match -Value {$this.matches[0].value} -PassThru
$Result|group -Property match
# Count Name                      Group
# ----- ----                      -----
#     3 mot1                      {ceci est le mot1, mot1, fail du mot1}
#     2 fail                      {fail, Failure}

Il se peut qu'une expression régulière plus poussée soit nécessaire pour obtenir ce que tu recherches.
Mais difficile pour moi d'aller plus loin sans un exemple concret, car coder un traitement sur des données sans les données je ne sais pas faire

**Hujino** · 19/07/2019, 16h20

Merci pour cet exemple,

Faut que je trouve une combinaison pour avoir :

count name group
nombre nom_serveur log

Je te remercie pour ton aide

**ericlm128** · 20/07/2019, 10h24

Tu peux simuler le fichier d'entrée en modifiant et masquant les données que tu ne souhaites pas divulguer agent Hujino.

**Hujino** · 22/07/2019, 14h44

Bonjour,

Voici ce que j'obtiens après quelques tests :

" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=38581 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=205943 "-o:TRACKING_FLUX=flux "-o:TRACKING_FROM=9999" "-o:TRACKIN
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=11107 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=341367 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKIN
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=293859 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKIN
-queue:motAP3mot"-o:FILETOPROCESS_SIZE=546011 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING_T

J'obtiens ceci après un premier filtre sur le mot-clé que j'ai utilisé.

Actuellement, je recherche une méthode pour n'avoir que motAP3mot avec un retour a la ligne sur chaque correspondance.

Sur les expressions, j'ai pensé à un truc comme ceci :
log_file.txt -match [FR*AP]

**ericlm128** · 22/07/2019, 14h59

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
$file='c:\temp\test.txt'
@'
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=38581 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=205943 "-o:TRACKING_FLUX=flux "-o:TRACKING_FROM=9999" "-o:TRACKIN
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=11107 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=341367 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKIN
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=293859 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKIN
-queue:motAP3mot"-o:FILETOPROCESS_SIZE=546011 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING_T
'@ > $File
 
gc $file | Select-String -Pattern 'motAP3mot' | ForEach-Object {'motAP3mot'}

**Hujino** · 22/07/2019, 15h03

si je suis ton chemin pour les @' mot'@ ça va être long, j'ai + de 10 000 lignes :/

motAP3mot est complètement différent à chaque fois, est-il possible de faire '*AP3*' ou similaire ?

**ericlm128** · 22/07/2019, 15h23

si je suis ton chemin pour les @' mot'@ ça va être long, j'ai + de 10 000 lignes :/

C'est pour l'exemple je répondais à ta dernière question.

motAP3mot est complètement différent à chaque fois, est-il possible de faire '*AP3*' ou similaire ?

Oui

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

gc "C:\Users\el227035\Desktop\file.txt" | Select-String -Pattern '.*AP3.*' | ForEach-Object {'AP3'}

**Hujino** · 22/07/2019, 15h27

J'ai trouvé aussi cette combinaison :

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

Get-Content .\log.txt | Select-String -Pattern 'mot\s*\d\d\d\dAPmot', 'mot1' | %{$_.Matches | Select Value}

J'ai bien mes serveurs qui apparaissent à la suite avec le saut à la ligne

**Hujino** · 26/07/2019, 13h55

Suite à nos échanges, mon script exécute ce que je recherche.

Cependant, je bloque sur la partie extract d'un fichier 7zip :/

**Laurent Dardenne** · 26/07/2019, 17h20

Salut,
consulte Powershell Gallery

**Hujino** · 29/07/2019, 09h29

Bonjour @Laurent,

Merci pour ton lien cependant, je n'ai pas les droits pour installer des modules surtout que le but final est de mettre le script sur un serveur de prod

**Laurent Dardenne** · 29/07/2019, 14h07

Envoyé par Hujino

Merci pour ton lien cependant, je n'ai pas les droits pour installer des modules surtout que le but final est de mettre le script sur un serveur de prod

Tu peux le télécharger en local et faire un import-module avec le path de ton script via la variable $PSScriptRoot.
Pas besoin de faire une installation via Install-Module, ni créer un repo privé...

**Hujino** · 29/07/2019, 14h24

Entre temps, j'ai réalisé cette partie :

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

Get-ChildItem -Path "$MainFolder\*.7z" | ForEach-Object -Process { & $7zipExecutable x $_ `-o$DestinationDirPath `-aoa `-r }

J'ai bien mon extract qui se fait comme je le souhaitais

Merci pour votre aide

Script PowerShell - Traitement de données

Scripts/Batch

Discussions similaires

Partager

Partager