Discussion :

[jelmouss]

Bonjour,

Disposant d'un fichier avec n entrées je souhaite extraire une ou deux colonnes bien spécifiques (je suis parti sur awk) cependant, ces colonnes ne peuvent être extraites avec un simple awk puisque malheureusement des espaces y sont glissés.
exemple de fichier travail

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
Tue-19/03/19-06:30:08 06:38:04-Tue-19/03 AUTO Job:XXXJCT3 ,RESULT= 0 tps=00:07:56
Tue-19/03/19-06:31:43 06:45:37-Tue-19/03 AUTO Job:XXXJCA7 ,RESULT= 0 tps=00:13:53
mar-19/03/19-08:53:49 09:08:17-mar-19/03 AUTO Job: XXXJCT4 ,RESULT= 0 tps=00:14:28
wed-20/03/19-00:01:21 00:01:21-wed-20/03 AUTO Job:XXXJC16 ,RESULT= 0 tps=00:00/00
ven-22/03/19-13:09:12 13:22:54-ven-22/03 AUTO Job: XXXJCT4 ,RESULT= 0 tps=00:13:42
sat-20/03/19-20:01:21 00:01:21-sat-20/03 AUTO Job:XXXJC16 ,RESULT= 0 tps=00:00/00

Mon retour de commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
cat monFichier | awk '{ print $4}'
Job:CNHJCT3
Job:XXXJCA7
Job:
Job:XWXJC16
Job:
Job:XWXJC16

Ma première question comment supprimer le caractère espace juste après l'occurrence "Job: " ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
cat monFichier | awk '{print $4}' | uniq
Job:CNHJCT3
Job:XXXJCA7
Job:
Job:XWXJC16
Job:
Job:XWXJC16

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
cat monFichier | awk '{print $4}' | sort
Job:
Job:
Job:CNHJCT3
Job:XWXJC16
Job:XWXJC16
Job:XXXJCA7

Ma seconde question comment supprimer les doublons (Possible d'utiliser la commande uniq sans sort ou indissociable dans ce cas présent) ?

Merci pour l'aide

[N_BaH]

Bonjour,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

gawk '{sub(": ",":"); ar[$4]++}END{PROCINFO["sorted_in"]="@ind_str_asc"; for(i in ar)print i}' fichier.log

[Sve@r]

Bonjour

Ma première question comment supprimer le caractère espace juste après l'occurrence "Job: " ?

cat monFichier |sed -e "s/Job: /Job:/"

Ma seconde question comment supprimer les doublons ?

Il faudrait déjà savoir ce que tu entends par "doublon". Et surtout il faudrait aussi savoir si le fichier est déjà trié (tous les doublons sont "à suivre") ou pas car cela influera sur l'algo. Si tous les doublons sont "à suivre" alors une simple lecture suffit (tant que la ligne lue est la même que la précédente on la saute), sinon pour n lignes il faut le lire n² fois (ou alors mémoriser chaque doublon comme l'a fait N_BaH).

Possible d'utiliser la commande uniq sans sort ou indissociable dans ce cas présent

La commande "uniq" est indépendante de "sort"... mais ne fonctionne que si les doublons se suivent (ce qui explique que dans 98% des cas elle lui soit liée). Bref tout se résume à 2 questions

• le fichier est-il déjà trié ?
• s'il ne l'est pas, est-ce que cela te conviendra si le résultat final l'est ?

Si tu réponds "oui" à l'une de ces deux questions, tu pourras utiliser "uniq". Sans "sort" pour la première, et avec "sort" pour la seconde.

[jelmouss]

Merci pour vos retour.
Pour répondre à la question non le fichier n’est pas trié.

En complétant la commande sed, je devrais partir qur quelques chose comme ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat monFichier | sed -e "s/Job: /Job:/" | awk '{print $4}' | sort | uniq > SortJob

NB: A noter que je n’ai pas encore pu tester la commande gawk.

Merci

[N_BaH]

sed sait lire des fichiers, donc cat est inutile.
awk sait faire des substitutions, et il sait aussi lire des fichiers, donc sed est inutile.
sort sait rendre unique les doublons, donc uniq est inutile.

pfiou! il ne reste plus beaucoup de commandes.

ah! awk sait aussi trier, et ne retenir que des valeurs uniques en cas de doublons, alors sort est inutile.

ça va aller beaucoup plus vite.

[disedorgue]

Une autre solution en awk:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '$4=="Job:" {$4=$4$5};{XX[$4]++}END{for( i in XX)print i}' fichier