Existe t'il une méthode pour accélerer PowerShell?

**Komainu** · 12/07/2018, 12h21

Bonjour,

Je viens vers vous étant à cours de solution.

Alors voilà j'ai un script qui doit traité 36 .txt, d'environ 500 000 lignes chacun sachant aussi que certaines lignes sont obsolètes. Pour cela j'ai rajouté -EA SilentlyContinue.

Mon problème est le suivant ayant beaucoup de ligne a traité je voulais savoir si il existait un moyen d’accélérer l'exécution du script pour ainsi évité d'impacter le serveur en prod' je vous mets donc mon script a disposition.

#Rechcerche du fichier spécifique
$file2 = "C:\Users\*.txt"

#Initailisation des différentes variables permettant de savoir le nombre total de fichiers et la taille total se trouvant dans $file2
$NumberOfFilesTotal = 0
$tailleTotal = 0

#Initailisation de la variable $list permettant la lecture de chaque ligne dans le $file2
$list = Get-Content $file2
$list | foreach {
#Lecture des différentes lignes
$list = $_

#Calcul du nombre de fichiers
$NumberOfFiles = Get-ChildItem -path $list -Recurse -force -EA silentlycontinue -include *.*| Measure-Object | %{$_.Count}

#Calcul de la taille de chaque fichiers se trouvant dans $file2
$taille = ((Get-ChildItem -path $list -Recurse -force -EA silentlycontinue -include *.* | Measure-Object -Property Length -Sum -ErrorAction Stop).Sum)

#Incrémentation de tous les fichiers se trouvant dans $file2
$NumberOfFilesTotal += $NumberOfFiles

#Incrémentation de toutes les tailles se trouvant dans $file2
$tailleTotal += $taille
}
#Conversion de bytes en MégaBytes
$tailletotal = $tailleTotal /1048576

#Ecriture du résultat à l'écran
Write-Host "Il y a" $NumberOfFilesTotal "fichiers, dossiers et de sous dossiers" -ForegroundColor Yellow
Write-Host "Le fichier fait" $tailleTotal "MB" -ForegroundColor Green

#Enregistrement des différents retours de variable
#$NumberOfFilesTotal | Export-CSV -Path "C:\users\$env:USERNAME\$env:COMPUTERNAME-NombreDeFichier.csv"
#$tailleTotal | Export-CSV -Path "c:\users\$env:USERNAME\$env:COMPUTERNAME-TailleTotal.csv"
$Fichier1="Il y a" + " " + $NumberOfFilesTotal+ " " + "fichiers sur" + " " + $env:COMPUTERNAME
$Fichier1 > "C:\users\$env:USERNAME\$env:COMPUTERNAME-NombreDeFichier.csv"
$Fichier2="La taille total est de" + " " + $tailleTotal + " " + "MB sur"+ " " + $env:COMPUTERNAME
$Fichier2 > "c:\users\$env:USERNAME\$env:COMPUTERNAME-TailleTotal.csv"

**ericlm128** · 12/07/2018, 13h49

Peux tu utiliser les balises "code=powershell" pour ton code STP ?

Que souhaites tu obtenir ? Il semblerait que se soit uniquement la taille total des fichiers et leurs nombres correspondant au motif de recherche "C:\Users\*.txt" ?
Si oui, il n'y a pas d’intérêt à lire le contenu qui est l'opération la plus consommatrice.

**ericlm128** · 12/07/2018, 13h56

Peut être que je n'ai pas bien comprit, à quoi sert et à quoi ressemble tes 36 fichiers .txt ?

**Komainu** · 12/07/2018, 14h00

Je souhaite obtenir un fichier excel avec le nombre de fichier et la taille total.
Les fichiers txt se formule comme cela :
\\chemin\dossier\fichier.doc
\\chemin\dossier\fichier2.doc
\\chemin\dossier\fichier3.pdf
\\chemin\dossier\fichier.tif

J'ai donc besoin de lire les fichiers .txt pour savoir ou se trouve le fichier en question le nombre qu'il y en a et le taille total.

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
 
#Rechcerche du fichier spécifique
$file2 = "C:\Users\*.txt"
 
#Initailisation des différentes variables permettant de savoir le nombre  total de fichiers et la taille total se trouvant dans $file2
$NumberOfFilesTotal = 0
$tailleTotal = 0
 
#Initailisation de la variable $list permettant la lecture de chaque ligne dans le $file2
$list = Get-Content $file2
$list | foreach { 
#Lecture des différentes lignes
    $list = $_ 
 
    #Calcul du nombre de fichiers
    $NumberOfFiles = Get-ChildItem -path $list -Recurse -force -EA silentlycontinue -include *.*| Measure-Object | %{$_.Count}
 
    #Calcul de la taille de chaque fichiers se trouvant dans $file2
    $taille = ((Get-ChildItem -path $list -Recurse -force -EA  silentlycontinue -include *.* | Measure-Object -Property Length -Sum  -ErrorAction Stop).Sum)
 
    #Incrémentation de tous les fichiers se trouvant dans $file2
    $NumberOfFilesTotal += $NumberOfFiles 
 
    #Incrémentation de toutes les tailles se trouvant dans $file2
    $tailleTotal += $taille 
                    }
#Conversion de bytes en MégaBytes
$tailletotal = $tailleTotal /1048576
 
#Ecriture du résultat à l'écran
Write-Host "Il y a" $NumberOfFilesTotal  "fichiers, dossiers et de sous dossiers" -ForegroundColor Yellow
Write-Host "Le fichier fait" $tailleTotal "MB" -ForegroundColor Green
 
#Enregistrement des différents retours de variable 
#$NumberOfFilesTotal |  Export-CSV -Path "C:\users\$env:USERNAME\$env:COMPUTERNAME-NombreDeFichier.csv"
#$tailleTotal | Export-CSV -Path  "c:\users\$env:USERNAME\$env:COMPUTERNAME-TailleTotal.csv"
$Fichier1="Il y a" + " " + $NumberOfFilesTotal+ " " + "fichiers sur" + " " + $env:COMPUTERNAME
$Fichier1 > "C:\users\$env:USERNAME\$env:COMPUTERNAME-NombreDeFichier.csv"
$Fichier2="La taille total est de" + " " + $tailleTotal + " " + "MB sur"+ " " + $env:COMPUTERNAME
$Fichier2 > "c:\users\$env:USERNAME\$env:COMPUTERNAME-TailleTotal.csv"

**ericlm128** · 12/07/2018, 14h09

Ok donc il faut effectivement que tu lise tes x fichiers .txt

Il semblerait que chaque ligne, de tes fichiers textes, corresponde à 1 fichiers (selon l'exemple que tu m'a transmis) maximum, ou 0 si il n'existe pas.

Tu confirmes ma supposition ?

**ericlm128** · 12/07/2018, 14h15

Nous allons devoir tenter d'optimiser ton script, nous devons donc évaluer précisément le contexte dans lequel il se déroule

chemin et dossier sont ils toujours identiques ?

**Komainu** · 12/07/2018, 14h16

C'est exactement ça, une ligne 1 fichier.

**Komainu** · 12/07/2018, 14h25

Le début oui il pointe vers un serveur et après ce n'ai pas toujours le cas.

Et certains fichiers.txt ont le même chemin/ dossier parent. Ce qui normalement voudrait dire j'utilise un logiciel tiers ou via powershell pour mesurer le dossier parent, mais dans ce dossier parent j'ai peut-être 66% des fichiers (.doc,.pdf,.jpg...) qui m'intéresse.

**ericlm128** · 12/07/2018, 14h53

Même si le travail demandé est conséquent dans tout les cas, quelques chose comme ceci serait surement plus efficace, a tester/benchmarker.

Il faut juste voir si Get-Content -LiteralPath digère autant d'élément, mais je n'ai pas vu de contrainte identifiée.

A noter :
1 modification de Get-Content par un Get-ChildItem combiné avec un [System.IO.File]::ReadLines plus efficace
1 seul appel à Get-ChildItem avec la listes des fichiers à trouver. Plus de Recurse
1 seul Measure-Object suffit
Plus d'incrémentation de variable.
Code plus simple et lisible (selon moi)
J'ai utilisé les foreach pour plus de lisibilité

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#Recherche du fichier spécifique
$file2 = "C:\Users\*.txt"
 
#Initialisation des différentes variables permettant de savoir le nombre total de fichiers et la taille total se trouvant dans $file2
$NumberOfFilesTotal = 0
$tailleTotal = 0
 
$paths = @()
 
foreach($file in Get-ChildItem -path $file2 -force -ErrorAction SilentlyContinue | Select-Object -ExpandProperty FullName)
{
    foreach($line in [System.IO.File]::ReadLines($file, [System.Text.Encoding]::Default))
    {
           $paths += $line
    }
}
$paths = $paths | Select-Object -Unique
 
$ret = Get-ChildItem -LiteralPath $paths -File -Force -ErrorAction SilentlyContinue | Measure-Object -Sum Length
$NumberOfFilesTotal = $ret.Count
$tailleTotal = $ret.Sum
 
#Conversion de bytes en MégaBytes
$tailletotal = $tailleTotal / 1048576
 
#Ecriture du résultat à l'écran
Write-Host "Il y a" $NumberOfFilesTotal  "fichiers" -ForegroundColor Yellow
Write-Host "Les fichiers font" $tailleTotal "MB" -ForegroundColor Green

Edit : ajout de $paths = $paths | Select-Object -Unique pour optimiser les redondances

**Komainu** · 12/07/2018, 15h42

J'ai donc benchmarker votre script et le mien voici donc les scores.
Score pour traité 8570 fichiers votre script : 2:37,07
La même chose mais avec mon script : 3:51,04

Merci beaucoup pour ce script, il marche du feu de dieu

**ericlm128** · 12/07/2018, 15h50

Cool si tu as pu gagner un peu de temps de traitement.

Et bien le goulot d'étranglement est la vérification de présence du fichier sur les différents partages.

Ceci est du au temps d'accès disque latence réseau ...
Ceci devient difficilement optimisable au vu du nombre conséquent de fichier à vérifier.

Il y a une dernière optimisation possible mais qui peux avoir un effet pervers, il s'agit du parallélisme.
On pourrait demande à la commande de faire plusieurs vérification en simultané, mais si l'ensemble des fichiers sont sur le même partage ceci pourrait allonger fortement (du as une congestion) le temps d'exécution au lieu de le diminuer.
Un peu comme quand tu lance 20 copie en même temps de différents fichiers provenant de la même cible vers la même destination

**ericlm128** · 12/07/2018, 15h51

Après pour en avoir le cœur net tu peux benchmarker quelle partie du script consomme le plus de temps
https://www.pluralsight.com/blog/tut...-scripts-speed

Mais je pense que la ligne suivante consomme 99,9% du temps (j'ai enlevé volontairement Measure-Object car je ne pense pas qu'il soit le responsable)
$ret = Get-ChildItem -LiteralPath $paths -File -Force -ErrorAction SilentlyContinue

**Komainu** · 12/07/2018, 15h59

Une minutes c'est énorme comme gain de temps surtout sur des traitements comme cela.
Dans tous les cas l'opération que je mène est longue et ch*ante.
Cela risque de faire planté les serveurs sur lequel j'exécute la commande mais j'y avais pensé aussi déjà que le script prend entre 1Go et 2Go de RAM lors de son exécution sur un serveur Windows 4Go me reste pas bcp de marge de manœuvre.

Il y a avait aussi la solution de renommage :
Première étape je renomme mes fichiers existant .old
Deuxième étape je lit que les fichiers .old
Troisième étape je l'ai renomme avec leur nom d'origine.

Mais certains fichiers sont encore utilisés donc j'ai été un peu coincé.

Mais en tout cas merci encore.

**ericlm128** · 12/07/2018, 16h04

Peux tu juste benchmarker ceci ?

Je tente de descendre au niveau du FrameWork pour voir.

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
#Recherche du fichier spécifique
$file2 = "C:\Users\*.txt"
 
#Initialisation des différentes variables permettant de savoir le nombre total de fichiers et la taille total se trouvant dans $file2
$NumberOfFilesTotal = 0
$tailleTotal = 0
 
$paths = @()
foreach($file in Get-ChildItem -path $file2 -force -ErrorAction SilentlyContinue | Select-Object -ExpandProperty FullName)
{
    foreach($line in [System.IO.File]::ReadLines($file, [System.Text.Encoding]::Default))
    {
           $paths += $line
    }
}
$paths = $paths | Select-Object -Unique
 
 
$result = @()
foreach($item in $paths)
{
    if([System.IO.File]::Exists($item))
    {
        $result += [System.IO.FileInfo]$item
    }
}
 
#$ret = Get-ChildItem -LiteralPath $paths -File -Force -ErrorAction SilentlyContinue | Measure-Object -Sum Length
$ret = $result | Measure-Object -Sum Length
 
$NumberOfFilesTotal = $ret.Count
$tailleTotal = $ret.Sum
 
#Conversion de bytes en MégaBytes
$tailletotal = $tailleTotal / 1048576
 
#Ecriture du résultat à l'écran
Write-Host "Il y a" $NumberOfFilesTotal  "fichiers" -ForegroundColor Yellow
Write-Host "Les fichiers font" $tailleTotal "MB" -ForegroundColor Green
 
exit

**Komainu** · 12/07/2018, 16h11

1:26.33 !!!!
Tu viens de me faire gagner deux minutes!
Donc pour le gain du temps il faut travailler plus "prêt" du framework.

Merci encore

!!!

**ericlm128** · 12/07/2018, 16h12

Super ! Comme quoi la cmdlet Get-ChildItem pourrait être plus optimisée (je m'en doutais)

**ericlm128** · 12/07/2018, 16h13

En théorie, avec un code correctement structuré, plus tu as besoin de puissance (optimisation) plus tu doit travailler dans les couches basses.

**Komainu** · 12/07/2018, 16h39

Effectivement

Bah merci encore pour ses conseils, je gagne un temps précieux.

**Laurent Dardenne** · 12/07/2018, 18h00

Salut,
ceci est à éviter :

Code powersehll :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
  $path=@()
  $paths += $line

utilise une collection de type arraylist :

Code powersehll :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$Paths=[System.Collections.Arraylist]::New()
$paths.Add($Line) > $null

Envoyé par Komainu

1:26.33 !!!!
Donc pour le gain du temps il faut travailler plus "prêt" du framework.

Voir utiliser les API win32

**Komainu** · 13/07/2018, 12h44

Salut,
Laurent Dardenne
Merci pour ce petit morceau de script, tu viens de me faire gagner 17 secondes. Je vais bientôt passé sous la barre de la minute a cette allure.

Existe t'il une méthode pour accélerer PowerShell? [PowerShell]

Scripts/Batch

Discussions similaires

Partager

Partager