Trier et éliminer doublon dans AWK

Bonjour,

Dans la commande ci-dessous, je récupère un certain nombre d'information dans des fichiers.

Code:

1
2
3
4
5
6
7
8
9
 
awk 'BEGIN{FS=" "; }{ 	if ($1 == "Req_id"){ NUM_REQUEST_ID = $NF;} 	
						if ($2 == "PROCEDURE"){ NAME_PROCEDURE=$NF;}
						if ($2 == "SESSION"){ NAME_SESSION=$NF;}
						if ($1 == "INFO_BATCH"){ if ($2 == "heure"){ if($3 == "debut" ){ HEURE_DEBUT=$4" "$5;} else {if($3 == "fin" ){ HEURE_FIN=$4" "$5;}}}}
						if ($1 == "EXECUTION_USER"){split($2,TAB,":"); NAME_UTILISATEUR=TAB[2];}
						if ($1 == "PGM_NAME"){split($2,TAB,":"); NAME_PGM=TAB[2];}	
						if ($1 == "REQUEST_ID"){ FILS=$3" "FILS;}
					}END{ printf("%s,%s,%s,%s,%s,%s,%s,%s", NUM_REQUEST_ID,NAME_PROCEDURE, NAME_SESSION,HEURE_DEBUT,HEURE_FIN,NAME_UTILISATEUR, NAME_PGM,FILS )}' toto.txt

ce qui me donne sur un fichier :

Code:

1
2
9762063,TOTO18O03,TOTO18H,24/11/13 11:29:05,24/11/13 11:34:07,,,9762081 9762080 9762079 9762078 9762081 9762080 9762079 9762078 9762081 9762080 9762079 9762078 9762080 9762079 9762078 9762076 9762080 9762079 9762078 9762076 9762080 9762079 9762078 9762076 9762079 9762078 9762076 9762073 9762079 9762078 9762076 9762073 9762076 9762074 9762073 9762071 9762076 9762074 9762073 9762071 9762076 9762074 9762073 9762071 9762074 9762073 9762072 9762071 9762074 9762073 9762072 9762071 9762073 9762072 9762071 9762070 9762073 9762072 9762071 9762070 9762073 9762072 9762071 9762070 9762072 9762071 9762070 9762065 9762072 9762071 9762070 9762065 9762072 9762071 9762070 9762065 9762070 9762067 9762066 9762065 9762070 9762067 9762066 9762065 9762067 9762066 9762065 9762064 9762067 9762066 9762065 9762064 9762067 9762066 9762065 9762064 9762067 9762066 9762065 9762064 9762067 9762066 9762065 9762064 9762067 9762066 9762065 9762064

Mon souci est que le dernier champ (FILS) me renvoi de nombreux doublon.
Y a t il une méthode pour trier et supprimer les doublons dans le AWK?

Merci d'avance pour vos réponse,

Tu peux remplacer:

Code:

1
2
3
if ($1 == "REQUEST_ID"){ FILS=$3" "FILS;}
}
END{ printf("%s,%s,%s,%s,%s,%s,%s,%s", NUM_REQUEST_ID,NAME_PROCEDURE, NAME_SESSION,HEURE_DEBUT,HEURE_FIN,NAME_UTILISATEUR, NAME_PGM,FILS )}' toto.txt

par

Code:

1
2
3
4
if ($1 == "REQUEST_ID"){ FILS[$3]=1}
}
END{ printf("%s,%s,%s,%s,%s,%s,%s,", NUM_REQUEST_ID,NAME_PROCEDURE, NAME_SESSION,HEURE_DEBUT,HEURE_FIN,NAME_UTILISATEUR, NAME_PGM );
for(i in FILS) printf("%s ",i)}' toto.txt

Merci, je vais le tester car c'est plutôt astucieux.

J'avais pensé à un tableau mais pas de cette manière.