Tri des lignes d'un fichier et consultation

Version imprimable

Voir 40 message(s) de cette discussion en une page

Bonjour,

Voici mon fichier contenant sur une ligne une adresse séparé par ":" d'un nombre :
Code:

1 2 3 4 5 6 7 8 0xD5CCF7eBDE7ac7A2E0943CBfA503a5DE0242C153:3.562281e+22 0xE30C035Fa670f1d831a4a1bAB49ff04fDff8E8bB:3.483386e+22 0xEEeb3DF130e0b54d36a2b8faCb944E20e3Ec083d:4.0214e+22 0xF24E3aE0C6ADAFAA143D4acA5D54DCDaDb1a29B1:5.971144e+22 0xF3B00f68e70c788c748Ce59bA8185DF070068361:1.978e+22 0xF9b36230A929651C493116902A2A3b93778F4445:6.0609015e+22 0xFA9241FA2e6640Cce42Da8b7DF8C84fc662C6C6c:3.499651e+22 0xFD053eef974B9b63F7A0AccfFfc4444233A149cC:2.1778393e+23
Mon objectif est de trier les lignes du fichier selon le nombre, du plus grand au plus petit, puis de numéroter les lignes.
Pour ensuite être en mesure de consulter dans le fichier le rang (n° de ligne) de telle adresse.

Je m'y attèle...

18/02/2022, 02h28
BEEP-BEEP

J'ai trouver cette commande :

Code:

cat monfichierTMP.txt | sort -t: -k2n,2n

Malheureusement je vais devoir bidouiller, car les nombres en puissance de 10 ne sont pas interprété et par exemple,
le nombre 3.499651e+22 est considéré comme plus grand que 2.1778393e+23 par la commande de tri. :?
18/02/2022, 02h29
Invité

sort peut faire ça, avec l'option --general-numeric-sort.
bien sûr, il faut préciser le séparateur et le champ de tri. ;)
18/02/2022, 02h47
BEEP-BEEP

Je viens d'essayer avec

Code:

cat monfichierTMP.txt | sort --general-numeric-sort -t: -k2nr,2nr

Mais apparemment les e+23 ne sont pas en tête ?
18/02/2022, 03h22
Invité

Code:

LC_ALL=C sort -t':' -k2rg tonFichier

c'est le point décimal, qui pose problème.
il faut donc modifier la locale pour qu'il soit correctement interprété comme séparateur décimal.
18/02/2022, 11h02
BEEP-BEEP

Code:

LC_ALL=C sort -t':' -k2rg monfichier.txt

LC_ALL=C : prendre le “.” comme séparateur décimal
-t : spécifie le séparateur de champs
-k : spécifie la colonne
-r : trie en ordre inverse
-g : prend en compte la notation scientifique 5.3762e+22

Citation:

Explication de LC_ALL et C :
LC_ALL est la variable d'environnement qui remplace tous les autres paramètres de localisation.

La locale C est une locale spéciale qui est censée être la locale la plus simple. Le paramètre C est destiné aux ordinateurs. Dans la locale C, les caractères sont des octets simples, le jeu de caractères est ASCII, l'ordre de tri est basé sur les valeurs des octets, la langue est généralement l'anglais américain et des choses comme les symboles monétaires ne sont pas définies.

Dans un script, si vous voulez forcer un paramètre spécifique, la seule option sûre est de forcer LC_ALL.
On exécute une commande avec LC_ALL=C pour éviter que les paramètres de l'utilisateur n'interfèrent avec notre script. Par exemple, si vous voulez que [a-z] corresponde aux 26 caractères ASCII de a à z, vous devez définir LC_ALL=C.

La commande locale, appelée sans argument, donne un résumé des paramètres actuels de localisation.
Différents aspects des localisations (comme le séparateur de milliers ou le caractère décimal, le jeu de caractères, l'ordre de tri, les noms de mois, de jours, les messages de langue ou d'application comme les messages d'erreur, le symbole monétaire) peuvent être définis à l'aide de quelques variables d'environnement.
18/02/2022, 11h37
BEEP-BEEP
Enfin il reste à consulter le rang (n° de ligne) de telle adresse classée selon son nombre :
Code:

1 2 sed -n '/0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4/=' monfichierResult.txt 19
Merci N_BaH pour ton aide :D;)
18/02/2022, 13h14
Invité

ou plus simplement :

Code:

$ sort ... tonFichier | grep -n '0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4'

à moins que tu aies besoin de conserver un fichier trié...
18/02/2022, 13h59
BEEP-BEEP

Conserver un fichier trié...non !

Mon ton grep ne retourne pas juste le n° de ligne comme mon sed :

Code:

19:0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4:5.3762e+22

Donc au final cela donne :

Code:

1
2
3
4
5
6
7
8
9
10
11
 
# Nettoyer le fichier brut pour obtenir un fichier structuré exploitable
sed 's/,.*$//' monfichier.txt | sed 's/[[:space:]]//g' | sed "s/'//g" | sed 's/capacity//g' | sed "s/://" | sed 's/{//g' | sed 's/}//g' | sed 's/candidates//g' | sed 's/epoch.*$//' | sed 's/success.*$//' | sed '/^$/d' > monfichierTMP.txt;
 
# Trier le fichier
LC_ALL=C sort -t':' -k2rg  monfichierTMP.txt > monfichierResult.txt;
 
# Fournir le n° de la ligne selon le motif
sed -n '/0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4/=' monfichierResult.txt
 
19

On est bon comme cela ?

18/02/2022, 14h09
Invité

oui. pas fait gaffe. :oops:

le "système" de pipe, lui, peut être conservé, puisque tu ne souhaites pas garder le fichier trié.
et hop ! un fichier temporaire en plus en moins. :lol:

on peut même imaginer que les données viennent d'une commande, qui pourrait aussi être connectée par un pipe à l'entrée de sort...

EDIT: Nnnnnnoooooon !!! on n'enchaîne pas une série de sed ! un seul peut tout faire.
18/02/2022, 14h16
Invité
d'où vient le premier fichier.txt ?
on peut le voir ?

c'est tâtonnant, et pas très propre, tout ça. :(
il y a trop de fichiers intermédiaires.

quand on a beaucoup de pipes on peut avoir un code lisible ainsi :
Code:

1 2 3 commande ..... \ | autre ... \ | uneAutre ...
...
18/02/2022, 14h25
BEEP-BEEP

Citation:

le "système" de pipe, lui, peut être conservé, puisque tu ne souhaites pas garder le fichier trié.
et hop ! un fichier temporaire en plus en moins. :lol:

Tu veux dire comme ca ? :

Code:

LC_ALL=C sort -t':' -k2rg monfichierTMP.txt | sed -n '/0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4/=' monfichierResult.txt

Citation:

on peut même imaginer que les données viennent d'une commande, qui pourrait aussi être connectée par un pipe à l'entrée de sort...

Je ne comprends pas ?

Citation:

EDIT: Nnnnnnoooooon !!! on n'enchaîne pas une série de sed ! un seul peut tout faire.

Comment ?

Citation:

Envoyé par N_BaH

d'où vient le premier fichier.txt ?
on peut le voir ?

c'est tâtonnant, et pas très propre, tout ça. :(
il y a trop de fichiers intermédiaires.

quand on a beaucoup de pipes on peut avoir un code lisible ainsi :

Code:

1
2
3
commande ..... \
    | autre ... \
    | uneAutre ...

...

Il ressemble à cela :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
{ '0x001b2AD9282Fbbb0B5F4C570ccCF1A39613552A7': { capacity: 3.896201e+22, status: 'OK' },
     '0x02683507aF2C6b07421D1eA96594D7b87198e4AB': { capacity: 3.9065102e+22, status: 'OK' },
     '0x0294FFDE40972F8E5902aA855ecF967c04DEDD82': { capacity: 3.916795e+22, status: 'KO' },
     '0x05B6D0B939EA98ad3B34a44dFEc000821Fc14158': { capacity: 3.3262529e+22, status: 'OK' },
     '0x085D3799e83aaD45693ca8F04cb5638E3DB8558C': { capacity: 4.8971009e+22, status: 'OK' },
     '0x0a1d951199bBa5420759BF02Cf851F9cb9e0A3b6': { capacity: 3.9167e+22, status: 'OK' },
     '0x0a4cc174dc6678213B0Eb2AD9713e4f5acda81A5': { capacity: 3.155669e+22, status: 'KO' },
     '0x0a8eDC641eDF73887C1E6D13F22fdb6BA5ACeBb8': { capacity: 3.680685e+22, status: 'KO' },
     '0x0b66B71B8f0D8Fd331385c5EB67E8cAbD54b4a60': { capacity: 5.7125219e+22, status: 'OK' },
     '0x101fD3E0aCd802D7821B4a88a7DA96E1D2a85e17': { capacity: 3.341486e+22, status: 'OK' },
     '0x102f1c7129dAeDE2e5f60D8E1B7a6246f0Ca59af': { capacity: 2.7396e+22, status: 'OK' },
     }

Là, je ne vois pas comment simplifier plus :? :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
sed -e 's/,.*$//' monfichier.txt \
       -e 's/[[:space:]]//g' \
       -e "s/'//g" \
       -e 's/capacity//g' \
       -e "s/://" \
       -e 's/{//g' -e 's/}//g' \
       -e 's/candidates//g' \
       -e 's/epoch.*$//' \
       -e 's/success.*$//' \
       -e '/^$/d' > monfichierTMP.txt
 
LC_ALL=C sort -t':' -k2rg  monfichierTMP.txt | sed -n '/0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4/='

Bon là je crois qu'il n'y a pas plus simple :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
monAdresse=0x3CE4a220353d09A9a831697c19F5Ec6335dD03C4
LC_ALL=C sed -e 's/,.*$//' monfichier.txt \
             -e 's/[[:space:]]//g' \
             -e "s/'//g" \
             -e 's/capacity//g' \
             -e "s/://" \
             -e 's/{//g' -e 's/}//g' \
             -e 's/candidates//g' \
             -e 's/epoch.*$//' \
             -e 's/success.*$//' \
             -e '/^$/d' \
       | sort -t':' -k2rg \
       | sed -n "/$monAdresse/="

c'est toi qui crée ce fichier, ou il est la sortie d'une commande ?
ça voudrait être du JSON, mais il y a de nombreuses erreurs de syntaxe .

voici un fichier JSON correctement formé :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ cat beep.json 
{
     "0x001b2AD9282Fbbb0B5F4C570ccCF1A39613552A7": {"capacity": "3.896201e+22", "status": "OK" },
     "0x02683507aF2C6b07421D1eA96594D7b87198e4AB": {"capacity": "3.9065102e+22", "status": "OK" },
     "0x0294FFDE40972F8E5902aA855ecF967c04DEDD82": {"capacity": "3.916795e+22", "status": "KO" },
     "0x05B6D0B939EA98ad3B34a44dFEc000821Fc14158": {"capacity": "3.3262529e+22", "status": "OK" },
     "0x085D3799e83aaD45693ca8F04cb5638E3DB8558C": {"capacity": "4.8971009e+22", "status": "OK" },
     "0x0a1d951199bBa5420759BF02Cf851F9cb9e0A3b6": {"capacity": "3.9167e+22", "status": "OK" },
     "0x0a4cc174dc6678213B0Eb2AD9713e4f5acda81A5": {"capacity": "3.155669e+22", "status": "KO" },
     "0x0a8eDC641eDF73887C1E6D13F22fdb6BA5ACeBb8": {"capacity": "3.680685e+22", "status": "KO" },
     "0x0b66B71B8f0D8Fd331385c5EB67E8cAbD54b4a60": {"capacity": "5.7125219e+22", "status": "OK" },
     "0x101fD3E0aCd802D7821B4a88a7DA96E1D2a85e17": {"capacity": "3.341486e+22", "status": "OK" },
     "0x102f1c7129dAeDE2e5f60D8E1B7a6246f0Ca59af": {"capacity": "2.7396e+22", "status": "OK" }
}

et voici comment l'exploiter plus proprement :

Code:

1
2
3
4
$ monAdresse='0x0294FFDE40972F8E5902aA855ecF967c04DEDD82'
$ jq -r '. | keys[] as $k | "\($k):\(.[$k] | .capacity)"' beep.json | sort -t':' -k2rg | sed -n "/$monAdresse/="
5
$

Certes ta dernière solution est encore plus concise et plus propre, mais il va me falloir encore du temps pour bien la comprendre.

De plus j'aurais du te donner dès le début non pas une portion mais la totalité du fichier.
Et du coup, il y a des subtilités et c'est un peu plus compliquer de l'exploiter.

C'est un fichier sortie d'une commande, que voici :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
{ candidates:
   { '0x02683507aF2C6b07421D1eA96594D7b87198e4AB': { capacity: 3.9065102e+23, status: 'OK' },
     '0x0294FFDE40972F8E5902aA855ecF967c04DEDD82': { capacity: 3.916795e+22, status: 'KO' },
     '0x05B6D0B939EA98ad3B34a44dFEc000821Fc14158': { capacity: 3.3262529e+23, status: 'OK' },
     '0x085D3799e83aaD45693ca8F04cb5638E3DB8558C': { capacity: 4.8971009e+22, status: 'OK' },
     '0x0a1d951199bBa5420759BF02Cf851F9cb9e0A3b6': { capacity: 3.9167e+22, status: 'OK' },
     '0x0a4cc174dc6678213B0Eb2AD9713e4f5acda81A5': { capacity: 3.155669e+23, status: 'KO' },
     '0x0a8eDC641eDF73887C1E6D13F22fdb6BA5ACeBb8': { capacity: 3.680685e+22, status: 'KO' },
     '0x0b66B71B8f0D8Fd331385c5EB67E8cAbD54b4a60': { capacity: 5.7125219e+22, status: 'OK' },
     '0x101fD3E0aCd802D7821B4a88a7DA96E1D2a85e17': { capacity: 3.341486e+23, status: 'OK' },
     '0x102f1c7129dAeDE2e5f60D8E1B7a6246f0Ca59af': { capacity: 2.7396e+22, status: 'OK' } },
  epoch: 29086,
  success: true }

Et de plus pour appliquer ta dernière commande, cela m'oblige à modifier le fichier quand même...

18/02/2022, 19h05
Invité

quelle commande ?
sais-tu comment elle émet un tel fichier "json" ?
18/02/2022, 20h33
BEEP-BEEP

Pas du tout.

Voir 40 message(s) de cette discussion en une page