Tri de ma colonne date et heure

**kevin45** · 20/05/2020, 19h27

Bonjour à tous,

Je suis novice en shell, j'aurais donc besoin de vos lumières pour trier un fichier ping_serveur.csv avec comme séparateur "|", avant que je m’arracher le peu de cheveux qu'il me reste sur la tête

Dans ce fichier j'ai 4 colonnes: nom du serveur | temps de réponse (ping) | statut | date et heure du ping

Voici à quoi ressemble mon fichier en entrée:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
 
serveur1 | 0,012 | Online | 03/03/2020 21:18:54
serveur2 | 0,227 | Online | 03/03/2020 21:18:54
serveur3 | 0,094 | Online | 03/03/2020 21:18:54
serveur4 | 0,224 | Online | 03/03/2020 21:18:54
serveur1 | 0,090 | Online | 27/01/2020 10:05:12
serveur2 | 0,263 | Online | 27/01/2020 10:05:12
serveur3 | 0,113 | Online | 27/01/2020 10:05:12
serveur4 | 0,875 | Online | 27/01/2020 10:05:12
serveur1 | 0,122 | Online | 07/12/2019 05:57:19
serveur2 | 0,234 | Online | 07/12/2019 05:57:19
serveur3 | 0,300 | Online | 07/12/2019 05:57:19
serveur4 | 0,171 | Online | 07/12/2019 05:57:19
serveur1 | 0,014 | Online | 05/03/2020 16:30:22
serveur2 | 0,197 | Online | 05/03/2020 16:30:22
serveur3 | 0,057 | Online | 05/03/2020 16:30:22
serveur4 | 0,235 | Online | 05/03/2020 16:30:22
serveur1 | 0,122 | Online | 12/12/2018 11:10:21
serveur2 | 0,278 | Online | 12/12/2018 11:10:21
serveur3 | 0,100 | Online | 12/12/2018 11:10:21
serveur4 | 0,258 | Online | 12/12/2018 11:10:21
serveur5 | 0,125 | Online | 03/03/2020 21:18:54
serveur5 | 0,233 | Online | 27/01/2020 10:05:12
serveur5 | 0,210 | Online | 07/12/2019 05:57:19
serveur5 | 0,210 | Online | 05/03/2020 16:30:22
serveur5 | 0,210 | Online | 12/12/2018 11:10:21

Je souhaiterais "tout simplement" trier ma colonne date et heure afin d'avoir la liste des pings des serveurs par ordre chronologique.

J'ai testé avec la commande "sort" ci-dessous mais le résultat ne correspond pas à ce que j'attends:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
[root@centos]# sort -t'|' -k4 ping_serveur.csv
serveur1 | 0,012 | Online | 03/03/2020 21:18:54
serveur2 | 0,227 | Online | 03/03/2020 21:18:54
serveur3 | 0,094 | Online | 03/03/2020 21:18:54
serveur4 | 0,224 | Online | 03/03/2020 21:18:54
serveur5 | 0,125 | Online | 03/03/2020 21:18:54
serveur1 | 0,014 | Online | 05/03/2020 16:30:22
serveur2 | 0,197 | Online | 05/03/2020 16:30:22
serveur3 | 0,057 | Online | 05/03/2020 16:30:22
serveur4 | 0,235 | Online | 05/03/2020 16:30:22
serveur5 | 0,210 | Online | 05/03/2020 16:30:22
serveur1 | 0,122 | Online | 07/12/2019 05:57:19
serveur2 | 0,234 | Online | 07/12/2019 05:57:19
serveur3 | 0,300 | Online | 07/12/2019 05:57:19
serveur4 | 0,171 | Online | 07/12/2019 05:57:19
serveur5 | 0,210 | Online | 07/12/2019 05:57:19
serveur1 | 0,122 | Online | 12/12/2018 11:10:21
serveur2 | 0,278 | Online | 12/12/2018 11:10:21
serveur3 | 0,100 | Online | 12/12/2018 11:10:21
serveur4 | 0,258 | Online | 12/12/2018 11:10:21
serveur5 | 0,210 | Online | 12/12/2018 11:10:21
serveur1 | 0,090 | Online | 27/01/2020 10:05:12
serveur2 | 0,263 | Online | 27/01/2020 10:05:12
serveur3 | 0,113 | Online | 27/01/2020 10:05:12
serveur4 | 0,875 | Online | 27/01/2020 10:05:12
serveur5 | 0,233 | Online | 27/01/2020 10:05:12

Comme vous pouvez le constater, le tri se fait uniquement sur le jour et non pas la date et l'heure complète

Merci d'avance pour votre précieuse aide.

Cordialement,

Kévin

**N_BaH** · 20/05/2020, 19h51

Bonjour,

il y a un problème avec le fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
serveur4 | 0,171 | Online | 07/15/2019 05:57:19
[...]
serveur5 | 0,233 | Online | 27/01/2020 10:05:12

donc, on ne sait pas ce qu'est le jour ou le mois. Il n'y a pas 15 ou 27 mois dans une année terrienne.

après, trier des dates dans ce fomrat avec sort, j'ai un doute.

**kevin45** · 20/05/2020, 20h06

Envoyé par N_BaH

Bonjour,

il y a un problème avec le fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
serveur4 | 0,171 | Online | 07/15/2019 05:57:19
[...]
serveur5 | 0,233 | Online | 27/01/2020 10:05:12

donc, on ne sait pas ce qu'est le jour ou le mois. Il n'y a pas 15 ou 27 mois dans une année terrienne.

après, trier des dates dans ce fomrat avec sort, j'ai un doute.

Oups en effet, j'ai corrigé le fichier d'entré. Pour être plus précis, la date et l'heure ont le format suivant: "+%d/%m/%Y %H:%M:%S"

**N_BaH** · 20/05/2020, 20h48

c'est toi qui a décidé du format du fichier ?
parce que le séparateur n'est pas un caractère unique. ici, c'est <espace><barre><espace>

il va falloir convertir la date en secondes depuis Epoch (1 janvier 1970) pour que sort puisse trier efficacement.

**disedorgue** · 20/05/2020, 22h14

Ou si la date avait été mise dans un format naturellement triable, c'est à dire ANNÉE MOIS JOUR heure minute seconde...

Une solution possible (mais non viable quand on controle le flux en entrée) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -E 's#([0-9][0-9])/([0-9][0-9])/([0-9][0-9][0-9][0-9])#\3/\2/\1#' ping_serveur.csv | sort -t '|' -k4 | sed -E 's#([0-9][0-9][0-9][0-9])/([0-9][0-9])/([0-9][0-9])#\3/\2/\1#'

**N_BaH** · 20/05/2020, 22h20

non viable quand on contrôle le flux en entrée

je ne comprends pas. Tu peux développer, stp ?

**disedorgue** · 20/05/2020, 22h42

Envoyé par N_BaH

je ne comprends pas. Tu peux développer, stp ?

Ce genre de solution pour moi est non viable car en général on peut en amont avoir une date au bon format, donc pas besoin de modifier le flux avant de le trier.

**kevin45** · 20/05/2020, 23h24

Envoyé par N_BaH

c'est toi qui a décidé du format du fichier ?
parce que le séparateur n'est pas un caractère unique. ici, c'est <espace><barre><espace>

il va falloir convertir la date en secondes depuis Epoch (1 janvier 1970) pour que sort puisse trier efficacement.

Oui c'est moi qui ai formaté le fichier en entrée comme cela. J'ai mis des espaces entre le "|" pour plus de visibilité

J'ai reformaté la date également. A la base elle est en format anglais (ex: Wed May 6 2020 23:58:02).

L'objectif par la suite c'est de générer un graphe à partir de ce csv afin de visualiser et suivre l'évolution de mes pings et éventuellement détecter des latences réseau sur mes serveurs sur une période défini.

**N_BaH** · 20/05/2020, 23h48

puisque c'est toi qui formate le fichier, suis les indications de disedorgue concernant le format de date : YYYY MM DD HH MM SS.
ça évitera la conversion en secondes depuis Epoch, que je préfère, mais qui n'est pas lisible immédiatement.

générer un graphe [...] afin de visualiser et suivre l'évolution de mes pings

ça mériterait peut-être un nouveau sujet pour définir une méthode robuste.

**zipe31** · 21/05/2020, 09h25

Salut,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$ sort -t'|' -k4.10,4r f1 
serveur1 | 0,012 | Online | 03/03/2020 21:18:54
serveur2 | 0,227 | Online | 03/03/2020 21:18:54
serveur3 | 0,094 | Online | 03/03/2020 21:18:54
serveur4 | 0,224 | Online | 03/03/2020 21:18:54
serveur5 | 0,125 | Online | 03/03/2020 21:18:54
serveur1 | 0,014 | Online | 05/03/2020 16:30:22
serveur2 | 0,197 | Online | 05/03/2020 16:30:22
serveur3 | 0,057 | Online | 05/03/2020 16:30:22
serveur4 | 0,235 | Online | 05/03/2020 16:30:22
serveur5 | 0,210 | Online | 05/03/2020 16:30:22
serveur1 | 0,090 | Online | 27/01/2020 10:05:12
serveur2 | 0,263 | Online | 27/01/2020 10:05:12
serveur3 | 0,113 | Online | 27/01/2020 10:05:12
serveur4 | 0,875 | Online | 27/01/2020 10:05:12
serveur5 | 0,233 | Online | 27/01/2020 10:05:12
serveur1 | 0,122 | Online | 07/12/2019 05:57:19
serveur2 | 0,234 | Online | 07/12/2019 05:57:19
serveur3 | 0,300 | Online | 07/12/2019 05:57:19
serveur4 | 0,171 | Online | 07/12/2019 05:57:19
serveur5 | 0,210 | Online | 07/12/2019 05:57:19
serveur1 | 0,122 | Online | 12/12/2018 11:10:21
serveur2 | 0,278 | Online | 12/12/2018 11:10:21
serveur3 | 0,100 | Online | 12/12/2018 11:10:21
serveur4 | 0,258 | Online | 12/12/2018 11:10:21
serveur5 | 0,210 | Online | 12/12/2018 11:10:21

PS. Après il n'y a pas assez de données différentes en exemple pour savoir si cette formule est efficace…

**disedorgue** · 21/05/2020, 10h18

Bizarre ton tri, en principe, le mois de janvier devrait être avant le mois de mars:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$ sort -t'|' -k4.10,4r f1 
serveur1 | 0,012 | Online | 03/03/2020 21:18:54
serveur2 | 0,227 | Online | 03/03/2020 21:18:54
serveur3 | 0,094 | Online | 03/03/2020 21:18:54
serveur4 | 0,224 | Online | 03/03/2020 21:18:54
serveur5 | 0,125 | Online | 03/03/2020 21:18:54
serveur1 | 0,014 | Online | 05/03/2020 16:30:22
serveur2 | 0,197 | Online | 05/03/2020 16:30:22
serveur3 | 0,057 | Online | 05/03/2020 16:30:22
serveur4 | 0,235 | Online | 05/03/2020 16:30:22
serveur5 | 0,210 | Online | 05/03/2020 16:30:22
serveur1 | 0,090 | Online | 27/01/2020 10:05:12
serveur2 | 0,263 | Online | 27/01/2020 10:05:12
serveur3 | 0,113 | Online | 27/01/2020 10:05:12
serveur4 | 0,875 | Online | 27/01/2020 10:05:12
serveur5 | 0,233 | Online | 27/01/2020 10:05:12
serveur1 | 0,122 | Online | 07/12/2019 05:57:19
serveur2 | 0,234 | Online | 07/12/2019 05:57:19
serveur3 | 0,300 | Online | 07/12/2019 05:57:19
serveur4 | 0,171 | Online | 07/12/2019 05:57:19
serveur5 | 0,210 | Online | 07/12/2019 05:57:19
serveur1 | 0,122 | Online | 12/12/2018 11:10:21
serveur2 | 0,278 | Online | 12/12/2018 11:10:21
serveur3 | 0,100 | Online | 12/12/2018 11:10:21
serveur4 | 0,258 | Online | 12/12/2018 11:10:21
serveur5 | 0,210 | Online | 12/12/2018 11:10:21

**zipe31** · 21/05/2020, 10h40

Envoyé par disedorgue

Bizarre ton tri, en principe, le mois de janvier devrait être avant le mois de mars:

Ben pourquoi ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
       -r, --reverse
              inverser le résultat des comparaisons

**disedorgue** · 21/05/2020, 10h55

Regarde bien les 3 lignes en rouge, il y a un problème de tri: 03/03 , 05/03 , 27/01 au lieu de 05/03 , 03/03 , 27/01

**zipe31** · 21/05/2020, 11h26

Envoyé par disedorgue

Regarde bien les 3 lignes en rouge, il y a un problème de tri: 03/03 , 05/03 , 27/01 au lieu de 05/03 , 03/03 , 27/01

Au temps pour moi, toutes mes plates

**zipe31** · 21/05/2020, 14h20

Et comme ça, c'est mieux ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$ sort -s -k7.7,7.11 -k7.4,7.6 -k7.1,7.3 f1
serveur1 | 0,122 | Online | 12/12/2018 11:10:21
serveur2 | 0,278 | Online | 12/12/2018 11:10:21
serveur3 | 0,100 | Online | 12/12/2018 11:10:21
serveur4 | 0,258 | Online | 12/12/2018 11:10:21
serveur5 | 0,210 | Online | 12/12/2018 11:10:21
serveur1 | 0,122 | Online | 07/12/2019 05:57:19
serveur2 | 0,234 | Online | 07/12/2019 05:57:19
serveur3 | 0,300 | Online | 07/12/2019 05:57:19
serveur4 | 0,171 | Online | 07/12/2019 05:57:19
serveur5 | 0,210 | Online | 07/12/2019 05:57:19
serveur1 | 0,090 | Online | 27/01/2020 10:05:12
serveur2 | 0,263 | Online | 27/01/2020 10:05:12
serveur3 | 0,113 | Online | 27/01/2020 10:05:12
serveur4 | 0,875 | Online | 27/01/2020 10:05:12
serveur5 | 0,233 | Online | 27/01/2020 10:05:12
serveur1 | 0,012 | Online | 03/03/2020 21:18:54
serveur2 | 0,227 | Online | 03/03/2020 21:18:54
serveur3 | 0,094 | Online | 03/03/2020 21:18:54
serveur4 | 0,224 | Online | 03/03/2020 21:18:54
serveur5 | 0,125 | Online | 03/03/2020 21:18:54
serveur1 | 0,014 | Online | 05/03/2020 16:30:22
serveur2 | 0,197 | Online | 05/03/2020 16:30:22
serveur3 | 0,057 | Online | 05/03/2020 16:30:22
serveur4 | 0,235 | Online | 05/03/2020 16:30:22
serveur5 | 0,210 | Online | 05/03/2020 16:30:22

Ou :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$ sort -s -r -k7.7,7.11 -k7.4,7.6 -k7.1,7.3 f1
serveur1 | 0,014 | Online | 05/03/2020 16:30:22
serveur2 | 0,197 | Online | 05/03/2020 16:30:22
serveur3 | 0,057 | Online | 05/03/2020 16:30:22
serveur4 | 0,235 | Online | 05/03/2020 16:30:22
serveur5 | 0,210 | Online | 05/03/2020 16:30:22
serveur1 | 0,012 | Online | 03/03/2020 21:18:54
serveur2 | 0,227 | Online | 03/03/2020 21:18:54
serveur3 | 0,094 | Online | 03/03/2020 21:18:54
serveur4 | 0,224 | Online | 03/03/2020 21:18:54
serveur5 | 0,125 | Online | 03/03/2020 21:18:54
serveur1 | 0,090 | Online | 27/01/2020 10:05:12
serveur2 | 0,263 | Online | 27/01/2020 10:05:12
serveur3 | 0,113 | Online | 27/01/2020 10:05:12
serveur4 | 0,875 | Online | 27/01/2020 10:05:12
serveur5 | 0,233 | Online | 27/01/2020 10:05:12
serveur1 | 0,122 | Online | 07/12/2019 05:57:19
serveur2 | 0,234 | Online | 07/12/2019 05:57:19
serveur3 | 0,300 | Online | 07/12/2019 05:57:19
serveur4 | 0,171 | Online | 07/12/2019 05:57:19
serveur5 | 0,210 | Online | 07/12/2019 05:57:19
serveur1 | 0,122 | Online | 12/12/2018 11:10:21
serveur2 | 0,278 | Online | 12/12/2018 11:10:21
serveur3 | 0,100 | Online | 12/12/2018 11:10:21
serveur4 | 0,258 | Online | 12/12/2018 11:10:21
serveur5 | 0,210 | Online | 12/12/2018 11:10:21

**disedorgue** · 21/05/2020, 14h45

Yep, par contre, ça ne tient pas compte du 8éme champs (HH:MM:SS) , mais on peut laisser au P.O la complétude de cette prise en compte...

En tout cas, c'est un super exemple pour comprendre comment fonctionne sort

**Flodelarab** · 21/05/2020, 17h57

Bonjour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$ awk -F '[|/]' '{sub(/,/,"."); cmd="date -d \""$5"/"$4"/"$6"\" +%s"; cmd | getline n; close(cmd); print $1"|"$2"|"$3"|"$4"/"$5"/"$6" | "n;}' f1 | sort -t "|" -k5 | tee f2
serveur1 | 0.122 | Online | 12/12/2018 11:10:21 | 1544609421
serveur2 | 0.278 | Online | 12/12/2018 11:10:21 | 1544609421
serveur3 | 0.100 | Online | 12/12/2018 11:10:21 | 1544609421
serveur4 | 0.258 | Online | 12/12/2018 11:10:21 | 1544609421
serveur5 | 0.210 | Online | 12/12/2018 11:10:21 | 1544609421
serveur1 | 0.122 | Online | 07/12/2019 05:57:19 | 1575694639
serveur2 | 0.234 | Online | 07/12/2019 05:57:19 | 1575694639
serveur3 | 0.300 | Online | 07/12/2019 05:57:19 | 1575694639
serveur4 | 0.171 | Online | 07/12/2019 05:57:19 | 1575694639
serveur5 | 0.210 | Online | 07/12/2019 05:57:19 | 1575694639
serveur1 | 0.090 | Online | 27/01/2020 10:05:12 | 1580115912
serveur2 | 0.263 | Online | 27/01/2020 10:05:12 | 1580115912
serveur3 | 0.113 | Online | 27/01/2020 10:05:12 | 1580115912
serveur4 | 0.875 | Online | 27/01/2020 10:05:12 | 1580115912
serveur5 | 0.233 | Online | 27/01/2020 10:05:12 | 1580115912
serveur1 | 0.012 | Online | 03/03/2020 21:18:54 | 1583266734
serveur2 | 0.227 | Online | 03/03/2020 21:18:54 | 1583266734
serveur3 | 0.094 | Online | 03/03/2020 21:18:54 | 1583266734
serveur4 | 0.224 | Online | 03/03/2020 21:18:54 | 1583266734
serveur5 | 0.125 | Online | 03/03/2020 21:18:54 | 1583266734
serveur1 | 0.014 | Online | 05/03/2020 16:30:22 | 1583422222
serveur2 | 0.197 | Online | 05/03/2020 16:30:22 | 1583422222
serveur3 | 0.057 | Online | 05/03/2020 16:30:22 | 1583422222
serveur4 | 0.235 | Online | 05/03/2020 16:30:22 | 1583422222
serveur5 | 0.210 | Online | 05/03/2020 16:30:22 | 1583422222

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo 'set xtics rotate;set datafile separator "|"; plot "f2" using 5:2:xticlabel(4) title ""' | gnuplot -p

Nom : resultat.png
Affichages : 395
Taille : 13,9 Ko

**N_BaH** · 21/05/2020, 18h52

en sachant qu'avec GNU/awk, date, et sort seront inutiles.

par contre, est-ce qu'on pourrait passer directement la sortie de (G)awk à gnuplot ? ou bien ce dernier est-il contraint d'utiliser un fichier ?

**Flodelarab** · 21/05/2020, 19h40

en sachant qu'avec GNU/awk, date, et sort seront inutiles.

Euh ... peux-tu justifier ? Comment avoir le nombre de secondes depuis l'Epoch dans awk sans date ? (et sans tentative de calcul foireux)

par contre, est-ce qu'on pourrait passer directement la sortie de (G)awk à gnuplot ?

Of course. Bien sûr que oui. En une ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F '[|/]' '{sub(/,/,"."); cmd="date -d \""$5"/"$4"/"$6"\" +%s"; cmd | getline n; close(cmd); print $1"|"$2"|"$3"|"$4"/"$5"/"$6" | "n;}' f1 | sort -t "|" -k5 | gnuplot -p -e "set xtics rotate; set datafile separator '|'; plot '-' using 5:2:xticlabel(4) notitle"

**N_BaH** · 21/05/2020, 20h21

mktime(YYYY MM DD HH MM SS) est ton ami.
et pour te "priver" de la commande externe sort, il y a au choix PROCINFO["sorted_in"] ou asort(), et asorti().

Tri de ma colonne date et heure

Shell et commandes GNU

Discussions similaires

Partager

Partager