Tri des lignes d'un fichier et consultation

**BEEP-BEEP** · 18/02/2022, 02h10

Bonjour,

Voici mon fichier contenant sur une ligne une adresse séparé par ":" d'un nombre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
0xD5CCF7eBDE7ac7A2E0943CBfA503a5DE0242C153:3.562281e+22
0xE30C035Fa670f1d831a4a1bAB49ff04fDff8E8bB:3.483386e+22
0xEEeb3DF130e0b54d36a2b8faCb944E20e3Ec083d:4.0214e+22
0xF24E3aE0C6ADAFAA143D4acA5D54DCDaDb1a29B1:5.971144e+22
0xF3B00f68e70c788c748Ce59bA8185DF070068361:1.978e+22
0xF9b36230A929651C493116902A2A3b93778F4445:6.0609015e+22
0xFA9241FA2e6640Cce42Da8b7DF8C84fc662C6C6c:3.499651e+22
0xFD053eef974B9b63F7A0AccfFfc4444233A149cC:2.1778393e+23

Mon objectif est de trier les lignes du fichier selon le nombre, du plus grand au plus petit, puis de numéroter les lignes.
Pour ensuite être en mesure de consulter dans le fichier le rang (n° de ligne) de telle adresse.

Je m'y attèle...

**BEEP-BEEP** · 18/02/2022, 02h28

J'ai trouver cette commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat monfichierTMP.txt | sort -t: -k2n,2n

Malheureusement je vais devoir bidouiller, car les nombres en puissance de 10 ne sont pas interprété et par exemple,
le nombre 3.499651e+22 est considéré comme plus grand que 2.1778393e+23 par la commande de tri.

**N_BaH** · 18/02/2022, 02h29

sort peut faire ça, avec l'option --general-numeric-sort.
bien sûr, il faut préciser le séparateur et le champ de tri.

**BEEP-BEEP** · 18/02/2022, 02h47

Je viens d'essayer avec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat monfichierTMP.txt | sort --general-numeric-sort -t: -k2nr,2nr

Mais apparemment les e+23 ne sont pas en tête ?

**N_BaH** · 18/02/2022, 03h22

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LC_ALL=C sort -t':' -k2rg tonFichier

c'est le point décimal, qui pose problème.
il faut donc modifier la locale pour qu'il soit correctement interprété comme séparateur décimal.

**BEEP-BEEP** · 18/02/2022, 11h02

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LC_ALL=C sort -t':' -k2rg  monfichier.txt

LC_ALL=C : prendre le “.” comme séparateur décimal
-t : spécifie le séparateur de champs
-k : spécifie la colonne
-r : trie en ordre inverse
-g : prend en compte la notation scientifique 5.3762e+22

Explication de LC_ALL et C :
LC_ALL est la variable d'environnement qui remplace tous les autres paramètres de localisation.

La locale C est une locale spéciale qui est censée être la locale la plus simple. Le paramètre C est destiné aux ordinateurs. Dans la locale C, les caractères sont des octets simples, le jeu de caractères est ASCII, l'ordre de tri est basé sur les valeurs des octets, la langue est généralement l'anglais américain et des choses comme les symboles monétaires ne sont pas définies.

Dans un script, si vous voulez forcer un paramètre spécifique, la seule option sûre est de forcer LC_ALL.
On exécute une commande avec LC_ALL=C pour éviter que les paramètres de l'utilisateur n'interfèrent avec notre script. Par exemple, si vous voulez que [a-z] corresponde aux 26 caractères ASCII de a à z, vous devez définir LC_ALL=C.

La commande locale, appelée sans argument, donne un résumé des paramètres actuels de localisation.
Différents aspects des localisations (comme le séparateur de milliers ou le caractère décimal, le jeu de caractères, l'ordre de tri, les noms de mois, de jours, les messages de langue ou d'application comme les messages d'erreur, le symbole monétaire) peuvent être définis à l'aide de quelques variables d'environnement.

**BEEP-BEEP** · 18/02/2022, 11h37

Enfin il reste à consulter le rang (n° de ligne) de telle adresse classée selon son nombre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
sed -n '/0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4/=' monfichierResult.txt
19

Merci N_BaH pour ton aide

**N_BaH** · 18/02/2022, 13h14

ou plus simplement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ sort ... tonFichier | grep -n '0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4'

à moins que tu aies besoin de conserver un fichier trié...

**BEEP-BEEP** · 18/02/2022, 13h59

Conserver un fichier trié...non !

Mon ton grep ne retourne pas juste le n° de ligne comme mon sed :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

19:0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4:5.3762e+22

**BEEP-BEEP** · 18/02/2022, 14h09

Donc au final cela donne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
# Nettoyer le fichier brut pour obtenir un fichier structuré exploitable
sed 's/,.*$//' monfichier.txt | sed 's/[[:space:]]//g' | sed "s/'//g" | sed 's/capacity//g' | sed "s/://" | sed 's/{//g' | sed 's/}//g' | sed 's/candidates//g' | sed 's/epoch.*$//' | sed 's/success.*$//' | sed '/^$/d' > monfichierTMP.txt;
 
# Trier le fichier
LC_ALL=C sort -t':' -k2rg  monfichierTMP.txt > monfichierResult.txt;
 
# Fournir le n° de la ligne selon le motif
sed -n '/0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4/=' monfichierResult.txt
 
19

On est bon comme cela ?

**N_BaH** · 18/02/2022, 14h09

oui. pas fait gaffe.

le "système" de pipe, lui, peut être conservé, puisque tu ne souhaites pas garder le fichier trié.
et hop ! un fichier temporaire en plus en moins.

on peut même imaginer que les données viennent d'une commande, qui pourrait aussi être connectée par un pipe à l'entrée de sort...

EDIT: Nnnnnnoooooon !!! on n'enchaîne pas une série de sed ! un seul peut tout faire.

**N_BaH** · 18/02/2022, 14h16

d'où vient le premier fichier.txt ?
on peut le voir ?

c'est tâtonnant, et pas très propre, tout ça.

il y a trop de fichiers intermédiaires.

quand on a beaucoup de pipes on peut avoir un code lisible ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
commande ..... \
    | autre ... \
    | uneAutre ...

...

**BEEP-BEEP** · 18/02/2022, 14h25

le "système" de pipe, lui, peut être conservé, puisque tu ne souhaites pas garder le fichier trié.
et hop ! un fichier temporaire en plus en moins.

Tu veux dire comme ca ? :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LC_ALL=C sort -t':' -k2rg  monfichierTMP.txt | sed -n '/0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4/=' monfichierResult.txt

on peut même imaginer que les données viennent d'une commande, qui pourrait aussi être connectée par un pipe à l'entrée de sort...

Je ne comprends pas ?

EDIT: Nnnnnnoooooon !!! on n'enchaîne pas une série de sed ! un seul peut tout faire.

Comment ?

**BEEP-BEEP** · 18/02/2022, 14h32

Envoyé par N_BaH

d'où vient le premier fichier.txt ?
on peut le voir ?

c'est tâtonnant, et pas très propre, tout ça.

il y a trop de fichiers intermédiaires.

quand on a beaucoup de pipes on peut avoir un code lisible ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
commande ..... \
    | autre ... \
    | uneAutre ...

...

Il ressemble à cela :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
{ '0x001b2AD9282Fbbb0B5F4C570ccCF1A39613552A7': { capacity: 3.896201e+22, status: 'OK' },
     '0x02683507aF2C6b07421D1eA96594D7b87198e4AB': { capacity: 3.9065102e+22, status: 'OK' },
     '0x0294FFDE40972F8E5902aA855ecF967c04DEDD82': { capacity: 3.916795e+22, status: 'KO' },
     '0x05B6D0B939EA98ad3B34a44dFEc000821Fc14158': { capacity: 3.3262529e+22, status: 'OK' },
     '0x085D3799e83aaD45693ca8F04cb5638E3DB8558C': { capacity: 4.8971009e+22, status: 'OK' },
     '0x0a1d951199bBa5420759BF02Cf851F9cb9e0A3b6': { capacity: 3.9167e+22, status: 'OK' },
     '0x0a4cc174dc6678213B0Eb2AD9713e4f5acda81A5': { capacity: 3.155669e+22, status: 'KO' },
     '0x0a8eDC641eDF73887C1E6D13F22fdb6BA5ACeBb8': { capacity: 3.680685e+22, status: 'KO' },
     '0x0b66B71B8f0D8Fd331385c5EB67E8cAbD54b4a60': { capacity: 5.7125219e+22, status: 'OK' },
     '0x101fD3E0aCd802D7821B4a88a7DA96E1D2a85e17': { capacity: 3.341486e+22, status: 'OK' },
     '0x102f1c7129dAeDE2e5f60D8E1B7a6246f0Ca59af': { capacity: 2.7396e+22, status: 'OK' },
     }

**BEEP-BEEP** · 18/02/2022, 14h59

Là, je ne vois pas comment simplifier plus

:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
sed -e 's/,.*$//' monfichier.txt \
       -e 's/[[:space:]]//g' \
       -e "s/'//g" \
       -e 's/capacity//g' \
       -e "s/://" \
       -e 's/{//g' -e 's/}//g' \
       -e 's/candidates//g' \
       -e 's/epoch.*$//' \
       -e 's/success.*$//' \
       -e '/^$/d' > monfichierTMP.txt
 
LC_ALL=C sort -t':' -k2rg  monfichierTMP.txt | sed -n '/0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4/='

**BEEP-BEEP** · 18/02/2022, 15h06

Bon là je crois qu'il n'y a pas plus simple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
monAdresse=0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4
LC_ALL=C sed -e 's/,.*$//' monfichier.txt \
             -e 's/[[:space:]]//g' \
             -e "s/'//g" \
             -e 's/capacity//g' \
             -e "s/://" \
             -e 's/{//g' -e 's/}//g' \
             -e 's/candidates//g' \
             -e 's/epoch.*$//' \
             -e 's/success.*$//' \
             -e '/^$/d' \
       | sort -t':' -k2rg \
       | sed -n "/$monAdresse/="

**N_BaH** · 18/02/2022, 15h40

c'est toi qui crée ce fichier, ou il est la sortie d'une commande ?
ça voudrait être du JSON, mais il y a de nombreuses erreurs de syntaxe .

voici un fichier JSON correctement formé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ cat beep.json 
{
     "0x001b2AD9282Fbbb0B5F4C570ccCF1A39613552A7": {"capacity": "3.896201e+22", "status": "OK" },
     "0x02683507aF2C6b07421D1eA96594D7b87198e4AB": {"capacity": "3.9065102e+22", "status": "OK" },
     "0x0294FFDE40972F8E5902aA855ecF967c04DEDD82": {"capacity": "3.916795e+22", "status": "KO" },
     "0x05B6D0B939EA98ad3B34a44dFEc000821Fc14158": {"capacity": "3.3262529e+22", "status": "OK" },
     "0x085D3799e83aaD45693ca8F04cb5638E3DB8558C": {"capacity": "4.8971009e+22", "status": "OK" },
     "0x0a1d951199bBa5420759BF02Cf851F9cb9e0A3b6": {"capacity": "3.9167e+22", "status": "OK" },
     "0x0a4cc174dc6678213B0Eb2AD9713e4f5acda81A5": {"capacity": "3.155669e+22", "status": "KO" },
     "0x0a8eDC641eDF73887C1E6D13F22fdb6BA5ACeBb8": {"capacity": "3.680685e+22", "status": "KO" },
     "0x0b66B71B8f0D8Fd331385c5EB67E8cAbD54b4a60": {"capacity": "5.7125219e+22", "status": "OK" },
     "0x101fD3E0aCd802D7821B4a88a7DA96E1D2a85e17": {"capacity": "3.341486e+22", "status": "OK" },
     "0x102f1c7129dAeDE2e5f60D8E1B7a6246f0Ca59af": {"capacity": "2.7396e+22", "status": "OK" }
}

et voici comment l'exploiter plus proprement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ monAdresse='0x0294FFDE40972F8E5902aA855ecF967c04DEDD82'
$ jq -r '. | keys[] as $k | "\($k):\(.[$k] | .capacity)"' beep.json | sort -t':' -k2rg | sed -n "/$monAdresse/="
5
$

**BEEP-BEEP** · 18/02/2022, 18h05

Certes ta dernière solution est encore plus concise et plus propre, mais il va me falloir encore du temps pour bien la comprendre.

De plus j'aurais du te donner dès le début non pas une portion mais la totalité du fichier.
Et du coup, il y a des subtilités et c'est un peu plus compliquer de l'exploiter.

C'est un fichier sortie d'une commande, que voici :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
{ candidates:
   { '0x02683507aF2C6b07421D1eA96594D7b87198e4AB': { capacity: 3.9065102e+23, status: 'OK' },
     '0x0294FFDE40972F8E5902aA855ecF967c04DEDD82': { capacity: 3.916795e+22, status: 'KO' },
     '0x05B6D0B939EA98ad3B34a44dFEc000821Fc14158': { capacity: 3.3262529e+23, status: 'OK' },
     '0x085D3799e83aaD45693ca8F04cb5638E3DB8558C': { capacity: 4.8971009e+22, status: 'OK' },
     '0x0a1d951199bBa5420759BF02Cf851F9cb9e0A3b6': { capacity: 3.9167e+22, status: 'OK' },
     '0x0a4cc174dc6678213B0Eb2AD9713e4f5acda81A5': { capacity: 3.155669e+23, status: 'KO' },
     '0x0a8eDC641eDF73887C1E6D13F22fdb6BA5ACeBb8': { capacity: 3.680685e+22, status: 'KO' },
     '0x0b66B71B8f0D8Fd331385c5EB67E8cAbD54b4a60': { capacity: 5.7125219e+22, status: 'OK' },
     '0x101fD3E0aCd802D7821B4a88a7DA96E1D2a85e17': { capacity: 3.341486e+23, status: 'OK' },
     '0x102f1c7129dAeDE2e5f60D8E1B7a6246f0Ca59af': { capacity: 2.7396e+22, status: 'OK' } },
  epoch: 29086,
  success: true }

Et de plus pour appliquer ta dernière commande, cela m'oblige à modifier le fichier quand même...