Discussion :

[NoFear14]

Bonjour à tous,

Après de multiples recherche (et mes maigres connaissances) je ne trouve pas mon bonheur.

Voilà j'ai un petit soucis dans un fichier .txt, je souhaite ne garder que les lignes qui sont uniques (car j'ai plein de lignes en doublon).
Je n'arrive pas a trouver comment faire ni avec quelle commande exécuter cela.

Merci d'avance.

[hackoofr]

D'après Remove Duplicate Rows From A Text File Using Powershell
En PowerShell avec une seule ligne, vous pouvez trouver votre bonheur

Code Powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

gc $filename | sort | get-unique > $newfileName

Et on peut le combiner avec le batch bien sûr

Code Batch :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
@echo off
Title Remove Duplicates Lines & Mode 75,3 & Color 0B
Set InputFile="%~1"
If [%Inputfile%] EQU [""] goto Usage
set "OutPut=%~n1_Unique.txt"
echo( & echo( Please Wait a while ...
Call :GetUnique %Inputfile% "%OutPut%"
If Exist "%OutPut%" Start "" /MAX "%OutPut%" & Exit
::--------------------------------------------
:GetUnique <InputFile> <OutPuFile>
Powershell -C "(gc '"%~1"').ToLower() | sort | get-unique >'"%~2"'"
Exit /B
::--------------------------------------------
:Usage 
echo( & echo( Glisser et deposer un fichier sur ce batch pour supprimer les doublons
Timeout /T 5 /NoBreak>nul
Exit /B
::--------------------------------------------

[ericlm128]

Ton code batch n'est pas identique au code PowerShell.
Le changement de casse ne fait pas partie du cahier des charges. Le trie non plus d'ailleurs.

[NoFear14]

Hello,
D'abord merci d'avoir pris le temps de me lire et d'avoir fait une réponse.
J'ai modifié un peu le code pour répondre mes besoins (le tri n'est pas dérangeant):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
@echo off
Title Remove Duplicates Lines & Mode 75,3 & Color 0B
Set InputFile=C:\Windows\Temp\Test\FichierConca.txt
Set "OutPut=C:\Windows\Temp\Test\FichierASupp.txt
echo( & echo( Please Wait a while ...
Call :GetUnique %Inputfile% "%OutPut%"
::--------------------------------------------
:GetUnique <InputFile> <OutPuFile>
Powershell -C "(gc '"%~1"')| sort | get-unique >'"%~2"'"
Exit /B
::--------------------------------------------

Malheureusement je ne souhaite pas garder les lignes qui ont été en double, cela sera plus parlant avec un exemple:

texte original:

Titi
Tata
Tata
Titi
Toto
Tutu

Texte après suppression :

Toto
Tutu

Je souhaite donc conserver uniquement les lignes solo du fichier.

[hackoofr]

@NoFear14
Si votre problème est résolu, alors n'oubliez pas de le marquer comme
Sinon, donnez-nous plus d'informations.
@+

[ericlm128]

Voici le code PowerShell qui fait ce que tu souhaites, je vous laisse le "batchifier" si vous le voulez

Code powershell :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$input = "C:\mon dossier\test.txt"
$output = "C:\mon dossier\test2.txt"
 
$content = Get-Content -LiteralPath $input
$doublon = $content | Group-Object | Where-Object {$_.Count -gt 1} | Select-Object -ExpandProperty Group
Set-Content -Value (($content | Where-Object {$_ -notin $doublon}) -join "`r`n") -LiteralPath $output -NoNewline

PS1 : Insère des sautes de ligne de type \r\n dans le nouveau fichier
PS2 : Comparaison insensible à la casse
PS3 : Pas de gestion de l'encodage (sans plus d'info)

[NoFear14]

Reprise du lundi !

Après plusieurs essais ça marche nickel ! je te remercie j'avais trouvè une solution tout en Batch mais ça prenait des plombs pour l'éxécuter.

Donc merci ça m'a permis de gagner énormément de temps

Reste plus qu'à implémenter ça dans le reste de mon script batch.