Manipuler un fichier csv volumineux

Version imprimable

24/06/2020, 08h11
laurent27530

Manipuler un fichier csv volumineux

Bonjour,

J'ai un fichier qui m'arrive brut et je dois le modifié manuelllement pour l'exploiter
Le fichier étant volumineux CSV je l'ouvre en mode Txt et non par excel

j'aurai besoin de supprimer toute les lignes avant Activity month
Le nombre de ligne peut etre différent

Et sur la ligne de l'entete : activity month
Mettre le commentaire "Description" si la colonne précédente porte le meme nom
Exemple
Activity Month;Project;Project;..... en Activity Month;Project;Project Description;.....
il y a X modification a faire sur l'entete qui contient plus d'une centaines de colonnes.

Merci d'avance pour votre aide

la structure ressemble a
EmployeeTime Sheet Data;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
Last Data Update:;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
32/13/2022 14:22:06;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
Display As;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
List of Exceptions;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
No exceptions defined;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;Currency Type;Local Currency;Local Currency;Local Currency
Activity Month;Project;Project;Client;Region;Employee;Employee;......

Voici une première idée pour supprimer les lignes avant le premier Activity Month;
Code:

1 2 3 4 $a = Get-Content -Path "data.txt" -Raw $a -match "(?ms)(^Activity Month;.*)" $extract = $Matches[1] Set-Content -Path "data.txt" -Value $extract

Voici avec les deux besoins

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
$a = Get-Content -Path "data.txt" -Raw
$null = $a -match "(?ms)(^Activity Month;.*)"
$extract = $Matches[1]
 
$lines = $extract.Replace("`r", "").Split("`n") | Where-Object {![string]::IsNullOrEmpty($_)}
 
For ($h = 0; $h -le $lines.Count -1; $h++)
{
    $items = $lines[$h].Split(";")
    For ($i = 0; $i -le $items.Count - 2; $i++)
    {
        if ($items[$i] -eq $items[$i + 1])
        {
            $items[$i + 1] = $items[$i + 1] + " Description"
        }
    }
    $lines[$h] = $items -join ";"
}
$str = $lines -join "`r`n"
 
Set-Content -Path "data.txt" -Value $str

02/07/2020, 13h33
laurent27530

C'est le top merci
Sauf que tu modifies toute les lignes hors je ne veux modifie que la ligne (entete) commencant par activty month et non toutes les lignes du fichier

en revanche pourrais le commenter que je puisse en tirer un enseignement pour le futur ?
02/07/2020, 14h02
ericlm128

Citation:

hors je ne veux modifie que la ligne (entete) commencant par activty month et non toutes les lignes du fichier

Donc seulement 1 ligne si nécessaire ?
02/07/2020, 14h03
laurent27530

oui mais je garde précieusement les 2 version car c'est un bon moyen d'apprendre

voici

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# Récupère le contenu du fichier en texte
$a = Get-Content -Path "data.txt" -Raw
 
# Applique une expression régulière
$null = $a -match "(?ms)(^Activity Month;.*)"
 
# Récupère le contenu du groupe de capture 1 de l'expression régulière
$extract = $Matches[1]
 
# Divise ce contenu en tableau
$lines = $extract.Replace("`r", "").Split("`n") | Where-Object {![string]::IsNullOrEmpty($_)}
 
# Divise la première ligne en un tableau d'item
$items = $lines[0].Split(";")
 
# Pour chaque item - 1
For ($i = 0; $i -le $items.Count - 2; $i++)
{
    # Si l'item courant est égal à l'item suivant
    if ($items[$i] -eq $items[$i + 1])
    {
        # On ajoute "Description" à l'item suivant
        $items[$i + 1] = $items[$i + 1] + " Description"
    }
}
 
# Agrégation des items dans la première ligne
$lines[0] = $items -join ";"
 
# Affichage du contenu
$lines

Bonjour,

J'ai voulu tester le remplacement d'un caractère dans le PowerShell

en mettant

Code:

1
2
3
4
5
6
7
8
9
# Pour chaque item
{
    # Si l'item courant est égal #
    if ($items[$i] -eq "#")
    {
        # On supprime le #
        $items[$i] -replace( "#","")
    }
}

Peux tu me dire mon erreur

actuellement le fait

Code:

1
2
# $content = Get-Content "C:\TEST\TEST.csv" | foreach { $_ -replace "#",""}
# set-content -path ""C:\TEST\TEST.csv"" -value $content

03/07/2020, 08h48
ericlm128
Code:

$items[$i] -replace( "#","")

Tu lui dit : prendre la valeur de l'item i et remplace les # par rien. Mais tu ne l'assigne pas à ton item i

Code:

$items[$i] = $items[$i] -replace( "#","")

Dans la logique, tu lui dit que si l'item i est égale à # on fait un remplacement par rien
Tu pourrais directement lui assigner rien, sauf si ce n'est pas ce que tu veux faire
Code:

1 2 3 4 5 6 7 8 9 # Pour chaque item { # Si l'item courant est égal # if ($items[$i] -eq "#") { # On le met à vide $items[$i] = "" } }

ca ne me supprime pas le # des lignes apres l'entete dans mon fichier final
en revanche la ligne 0 est bien mise a jour

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
$a = Get-Content -Path "C:\TEST\TEST.csv" -Raw
 
# Applique une expression régulière
$null = $a -match "(?ms)(^Activity Month;.*)"
 
# Récupère le contenu du groupe de capture 1 de l'expression régulière
$extract = $Matches[1]
 
# Divise ce contenu en tableau
$lines = $extract.Replace("`r", "").Split("`n") | Where-Object {![string]::IsNullOrEmpty($_)}
 
# Divise la première ligne en un tableau d'item
$items = $lines[0].Split(";")
 
# Pour chaque item - 1
For ($i = 0; $i -le $items.Count - 2; $i++)
{
    # Si l'item courant est égal à l'item suivant
    if ($items[$i] -eq $items[$i + 1])
    {
        # On ajoute "Description" à l'item suivant
        $items[$i + 1] = $items[$i + 1] + " Description"
    }
}
 
# Pour chaque item
For ($i = 1; $i -le $items.Count - 2; $i++)
{
    # Si l'item courant est égal #
    if ($items[$i] -eq "#")
    {
        # On supprime le #
        $items[$i] =""
    }
}
 
# Agrégation des items dans la première ligne
$lines[0] = $items -join ";"
 
# Affichage du contenu
$lines
 
Set-Content -Path "C:\TEST\TEST.csv" -Value $lines

03/07/2020, 13h23
ericlm128

Je pense que tu n'a pas d'item égal à #

Envoi le csv de test
03/07/2020, 13h41
laurent27530

1 pièce(s) jointe(s)

Bonjour,

Voici un exemple

Tu as raison

voici

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
$a = Get-Content -Path "TEST.csv" -Raw
 
# Applique une expression régulière
$null = $a -match "(?ms)(^Activity Month;.*)"
 
# Récupère le contenu du groupe de capture 1 de l'expression régulière
$extract = $Matches[1]
 
# Divise ce contenu en tableau
$lines = $extract.Replace("`r", "").Split("`n") | Where-Object {![string]::IsNullOrEmpty($_)}
 
# Divise la première ligne en un tableau d'item
$items = $lines[0].Split(";")
 
# Pour chaque item - 1
For ($i = 0; $i -le $items.Count - 2; $i++)
{
    # Si l'item courant est égal à l'item suivant
    if ($items[$i] -eq $items[$i + 1])
    {
        # On ajoute "Description" à l'item suivant
        $items[$i + 1] = $items[$i + 1] + " Description"
    }
}
 
# Agrégation des items dans la première ligne
$lines[0] = $items -join ";"
 
# Pour chaque ligne après l'en-tête
For ($h = 1; $h -le $lines.Count - 1; $h++)
{
    # Divise la ligne courante en un tableau d'item
    $items = $lines[$h].Split(";")
 
    # Pour chaque item
    For ($i = 1; $i -le $items.Count - 2; $i++)
    {
        # Si l'item courant est égal #
        if ($items[$i] -eq "#")
        {
            # On supprime le #
            $items[$i] =""
        }
    }
 
    # Agrégation des items dans la ligne courante
    $lines[$h] = $items -join ";"
}
 
# Affichage du contenu
$lines
 
Set-Content -Path "TEST.csv" -Value $lines

03/07/2020, 14h27
laurent27530

merci beaucoup

existe t il un livre qui me permettrait de pouvoir comprendre les syntaxes de manipulation de fichiers.
Beaucoup de site traite PowerShell en tant que outils de remonté d'information système

J'aurai plus besoin d'apprendre a faire des filtres pour créer un autre fichier par exemple
Extraire des données d'une base (SAP,...) et j'ai du mal a trouver des exemple pour comprendre la démarche.
03/07/2020, 15h35
ericlm128

Je ne sais pas je n'ai jamais lu de livre sur PowerShell, mais sur internet tu devrais trouver ce qu'il faut.