Script PowerShell - Traitement de données

Version imprimable

Bonjour,

Je suis débutant sur PowerShell

Je souhaite extraire un .zip pour aller dans le dossier extrait pour récupérer une log et faire des traitements dessus.

Sous linux, j'ai l'habitude d'utiliser awk, sed et grep. Sur Windows, j'ai dû mal avec le Select-String en prenant plusieurs mots-clé. Avec un mot clé ça marche, dès que j'en mets deux, j'ai aucun retour.

Script en question :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
##
##    Def variable
##
 
$date = Get-Date
$year = $date.year
$month = Get-Date -format "MM"
$day = $date.day
#"$day.$month.$year"
$directory = "F:\Exploitation\chemin\fichier\$year\$month\$day"
$file_u = "fichier_$year.$month.$day.*"
$log_deploy = "fichier_$year.$month.$day.*.7z"
$source = $directory
 
##
##    script
##
 
cd $directory
if (!(Test-Path "deploy_$year.$month.$day.*")) {
  Write-Output "Le dossier est absent"
  Function Expand-Archive([string]$archive, [string]$source) {
    $7z_Application = "D:\applicat\7-Zip\7z.exe"
    $7z_Arguments = @(
        'x'                            ## eXtract files with full paths
        '-y'                        ## assume Yes on all queries
        "`"-o$($source)`""        ## set Output directory
        "`"$($archive)`""                ## <archive_name>
    )
    & $7z_Application $7z_Arguments
 
    Write-Host "extract ok"
}
}
else{
    Write-Output "Ok"
}
 
 
cd $file_u
 
Get-Content -Path F:\Exploitation\chemin\*.log | Select-String -Pattern mot1,'Fail'

Est-il possible d'avoir vos avis sur mon script ?

En vous remerciant,

Salut,
ceci fonctionne :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
$file='c:\temp\test.txt'
@'
ceci est le mot1
fail
mot1
fail du mot1
no
yes
 
------mot
Failure
'@ > $File
gc $file | Select-String -Pattern mot1,'Fail' 
 
# ceci est le mot1
# fail
# mot1
# fail du mot1
# Failure

Vérifie l'encodage des fichiers de log.

19/07/2019, 15h21
Hujino

Bonjour,

Merci pour ta proposition,

J'ai aussi testé avec la commande findstr qui me sort un meilleur résultat.

Est-il possible d'éviter les doublons + n'affiche que le mot1 par rapport à mes mot-clé ?

Du genre :

mot1_test1
mot1_test2
mot1_test3
mot1_test4

Comme ceci avec un retour à la ligne pour une meilleure visibilité.
19/07/2019, 16h40
Laurent Dardenne

Citation:

Envoyé par Hujino

Est-il possible d'éviter les doublons + n'affiche que le mot1 par rapport à mes mot-clé ?

Du genre :

mot1_test1
mot1_test2
mot1_test3
mot1_test4

Je n'ai pas compris.
Tu ne précises que le résultat attendu et pas le texte d'origine (un exemple simple peut suffire).

Citation:

Envoyé par Hujino

Comme ceci avec un retour à la ligne pour une meilleure visibilité.

Ceci est du formatage de résultat, le début étant d'avoir le résultat attendu :-)
19/07/2019, 16h43
Hujino

Citation:

Envoyé par Laurent Dardenne

Je n'ai pas compris.
Tu ne précises que le résultat attendu et pas le texte d'origine (un exemple simple peut suffire).

Ceci est du formatage de résultat, le début étant d'avoir le résultat attendu :-)

Je vais chercher des informations dans un fichier log assez conséquent où je dois retrouver des informations cruciales pour ensuite le mettre en forme et l'intégrer sur un syslog par exemple
19/07/2019, 16h46
Laurent Dardenne

Citation:

Envoyé par Hujino

Je vais chercher des informations dans un fichier log assez conséquent où je dois retrouver des informations cruciales pour ensuite le mettre en forme et l'intégrer sur un syslog par exemple

ça je l'ai compris, c'est l'exemple de doublons qui n'est pas explicite. D'où ma demande d'exemple, un jeu de test...
19/07/2019, 16h48
Hujino

Citation:

Envoyé par Laurent Dardenne

ça je l'ai compris, c'est l'exemple de doublons qui n'est pas explicite. D'où ma demande d'exemple, un jeu de test...

J'ai caché le vrai mot, cependant pour te donner un exemple dans un fichier log, j'ai plusieurs nom de serveurs qui apparaissent plusieurs fois et qui indiquent la même erreur. Dans ce cas, il est inutile de l'afficher deux fois

A priori, dans ce cas il te faut filtrer le résultat avec le cmdlet Group-Object:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 $file='c:\temp\test.txt' @' ceci est le mot1 fail mot1 fail du mot1 no yes ------mot Failure '@ > $File $Result=gc $file | Select-String -Pattern mot1,'Fail'|Add-member -MemberType scriptProperty -Name match -Value {$this.matches[0].value} -PassThru $Result|group -Property match # Count Name Group # ----- ---- ----- # 3 mot1 {ceci est le mot1, mot1, fail du mot1} # 2 fail {fail, Failure}
Il se peut qu'une expression régulière plus poussée soit nécessaire pour obtenir ce que tu recherches.
Mais difficile pour moi d'aller plus loin sans un exemple concret, car coder un traitement sur des données sans les données je ne sais pas faire:ptdr:

19/07/2019, 17h20
Hujino

Merci pour cet exemple,

Faut que je trouve une combinaison pour avoir :

count name group
nombre nom_serveur log

Je te remercie pour ton aide
20/07/2019, 11h24
ericlm128

Tu peux simuler le fichier d'entrée en modifiant et masquant les données que tu ne souhaites pas divulguer agent Hujino.
22/07/2019, 15h44
Hujino

Bonjour,

Voici ce que j'obtiens après quelques tests :

" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=38581 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=205943 "-o:TRACKING_FLUX=flux "-o:TRACKING_FROM=9999" "-o:TRACKIN
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=11107 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=341367 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKIN
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=293859 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKIN
-queue:motAP3mot"-o:FILETOPROCESS_SIZE=546011 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING_T

J'obtiens ceci après un premier filtre sur le mot-clé que j'ai utilisé.

Actuellement, je recherche une méthode pour n'avoir que motAP3mot avec un retour a la ligne sur chaque correspondance.

Sur les expressions, j'ai pensé à un truc comme ceci :
log_file.txt -match [FR*AP]

Code:

1
2
3
4
5
6
7
8
9
10
11
$file='c:\temp\test.txt'
@'
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=38581 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=205943 "-o:TRACKING_FLUX=flux "-o:TRACKING_FROM=9999" "-o:TRACKIN
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=11107 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=341367 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKIN
" "-queue:motAP3mot"-o:FILETOPROCESS_SIZE=293859 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKIN
-queue:motAP3mot"-o:FILETOPROCESS_SIZE=546011 "-o:TRACKING_FLUX=flux" "-o:TRACKING_FROM=9999" "-o:TRACKING_T
'@ > $File
 
gc $file | Select-String -Pattern 'motAP3mot' | ForEach-Object {'motAP3mot'}

22/07/2019, 16h03
Hujino

si je suis ton chemin pour les @' mot'@ ça va être long, j'ai + de 10 000 lignes :/

motAP3mot est complètement différent à chaque fois, est-il possible de faire '*AP3*' ou similaire ?
22/07/2019, 16h23
ericlm128

Citation:

si je suis ton chemin pour les @' mot'@ ça va être long, j'ai + de 10 000 lignes :/

C'est pour l'exemple je répondais à ta dernière question.

Citation:

motAP3mot est complètement différent à chaque fois, est-il possible de faire '*AP3*' ou similaire ?

Oui

Code:

gc "C:\Users\el227035\Desktop\file.txt" | Select-String -Pattern '.*AP3.*' | ForEach-Object {'AP3'}
22/07/2019, 16h27
Hujino

J'ai trouvé aussi cette combinaison :

Code:

Get-Content .\log.txt | Select-String -Pattern 'mot\s*\d\d\d\dAPmot', 'mot1' | %{$_.Matches | Select Value}

J'ai bien mes serveurs qui apparaissent à la suite avec le saut à la ligne
26/07/2019, 14h55
Hujino

Suite à nos échanges, mon script exécute ce que je recherche.

Cependant, je bloque sur la partie extract d'un fichier 7zip :/
26/07/2019, 18h20
Laurent Dardenne

Salut,
consulte Powershell Gallery
29/07/2019, 10h29
Hujino

Bonjour @Laurent,

Merci pour ton lien cependant, je n'ai pas les droits pour installer des modules surtout que le but final est de mettre le script sur un serveur de prod
29/07/2019, 15h07
Laurent Dardenne

Citation:

Envoyé par Hujino

Merci pour ton lien cependant, je n'ai pas les droits pour installer des modules surtout que le but final est de mettre le script sur un serveur de prod

Tu peux le télécharger en local et faire un import-module avec le path de ton script via la variable $PSScriptRoot.
Pas besoin de faire une installation via Install-Module, ni créer un repo privé...
29/07/2019, 15h24
Hujino

Entre temps, j'ai réalisé cette partie :

Code:

Get-ChildItem -Path "$MainFolder\*.7z" | ForEach-Object -Process { & $7zipExecutable x $_ `-o$DestinationDirPath `-aoa `-r }

J'ai bien mon extract qui se fait comme je le souhaitais

Merci pour votre aide