Discussion :

[morback]

Bonjour,
je suis désolé si la question est idiote mais je débute totalement avec PowerShell

voici ce que je veux faire, j'a un fichier CSV qui contient 1 500 000 lignes
mais ces lignes ne concernent que 17 000 ID

je souhaites récupérer les 17000 ID

format du CSV :

ID,text, text
1234567890123,toto
1234567890123,tata
1234567890123,titi
1234567890124,toto
1234567890124,tata
1234567890124,titi

et du coup ce qui m'intéresse c'est d'avoir :

1234567890123
1234567890124

actuellement je fais ça en batch mais àa prend plusieurs heures
j'ai vu qu'il existait des commande import-csv

à ce stade

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$a = Get-Content ("C:\data\fichier_global\fichier_20190827.csv")
Foreach ( $line in $a ) {
      $line_splitted = $line.split(",")
      Write-Host $line_splitted[0]  }

et je traite les doublons dans un second temps à partir du fichier temporaire issue de ce traitement

j'a l'impression qu'il y a plus rapide et efficace

d'avance merci de votre aide

[morback]

bonjour, j'ai réussi à faire un script avec une méthode plus rapide :

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
$encoding = "ASCII"
[regex]$regex = "^\w\:\\"
 
foreach ($InputFile in $args) {
 
	Write-Host "ReadFile : Processing $InputFile"
 
	#Convert into complete path if not already done
	$FilePath = ""
	If ($regex.ismatch($InputFile)) {
		$FilePath = $InputFile
	}
	ElseIf ($regex.ismatch($InputFile.fullname)) {
		$FilePath = $InputFile.fullname
	}
	Else {
		$FilePath = "$($pwd)\$InputFile"
	}
	$InputFile = Get-Item $FilePath
	$FullName = $InputFile.FullName
 
	try {
		Write-Host "ReadFile : Reading $FullName"
		Write-Host "ReadFile : Encoding $encoding"
		# Open StreamReader
		$reader = new-object System.IO.StreamReader($FullName,[System.Text.Encoding]::$encoding)
 
		[int]$NbLines = 0
		# Create empty hashtable
		$hash = @{}
		while ($reader.Peek() -ge 0) {
			$NbLines++
			# Read line
			$line = $reader.ReadLine()
			# Get first 13 characters
			if ($line.length -ge 13) {
				$key = $line.substring(0, 13)
				# If hasn't been stored yet, add it to the hashtable and print it
				# This ways only disctinct element will be printed
				if(! $hash.ContainsKey($key)) {
					$hash.add($key, 1)
					Write-Output $key
				}
			}
		}
		Write-Host "ReadFile : $NbLines lines read"
	}
	catch [System.IO.IOException] {
		Write-Host $_
	}
	finally {
		if ($reader -ne $null) {
			Write-Host "ReadFile : Dispose reader"
			$reader.dispose()
			$reader.close()
		}
	}
}

bilan : batch = 8 H
premier script PowerShell = 2H
dernière version 2 min

bonne journée

[ericlm128]

Ton csv ne respecte pas la même structure du début à la fin ?

[ericlm128]

Sinon comme ceci, mais je pense que ça sera moins performant (en terme de temps, mais il sera tout de même plus pertinent dans les résultats)
Après c'est plus facilement maintenable.

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

Select-String -Path $InputFile -Pattern '^(\d{13}),.*' -Encoding ascii | ForEach-Object {$_.Matches.Groups[1].Value} | Select-Object -Unique

Alors combien de temps ?
Chez moi sur un fichier de 1 500 000 lignes il à mis 26 secondes, mais ce n'est pas le même contenue que le tiens

[morback]

oui quelques seconde, le traitement complet dure 10 minutes a cause d'autres opérations de contrôles en amont

mais c'est cool j'ai découvert un nouveau jouet

[Dacodhack]

Si c'est toujours d'actualité, je peux te proposer cela:

Code PowerShell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
$a = Import-Csv "C:\data\fichier_global\fichier_20190827.csv" -Delimiter ","
#$a | get-member                              ## => tu verras ton objet
# $a.ID | Select-Object -Unique >> fichier    ## => tu auras le trie de tes ID et tu le balances dans ton fichier, ce sera peut être le plus rapide
# $a.ID                                       ## Tu as toutes les ID
# tu peux faire une boucle et préciser ou non l'ID:
Foreach ( $line in $a.ID ){
    $line 
}