Discussion :

[al1_24]

Bonjour,

J'ai reçu les messages suivants lors du dédoublonnage de fichiers avec sort -u :

sort: Write error while merging.
sort: Write error while sorting.

Je me demandais donc s'il existait une limite physique au niveau de la taille des fichiers que peut traiter la commande sort.

Merci de me partager votre expertise

[ok.Idriss]

Salut.

Et que renvoi un sort tout court même quitte à faire sort | uniq. Même erreur ?

Sinon tu as une partition séparée pour /tmp ou équivalent ? Peut être que tu n'a plus assez de place... pour pallier à ça tu as l'option -T pour spécifier le répertoire pour stocker les fichiers temporaires générés par sort. Essayes peut être de le faire quelque part ou tu as de la place...

Idriss

[al1_24]

Merci pour ta réponse.

J'ai utilisé l'option -T et mon dédoublonnage est arrivé au bout... avec de la patience.
Il y avait quand même 65 millions de lignes dans un fichier de 45 Go.

[ok.Idriss]

Et du coup c'est bien parce que l'espace de la partition contenant /tmp est insuffisant pour les fichiers temporaires de sort ?

[al1_24]

En effet

[al1_24]

En cas de besoin, j'ai trouvé et testé le code suivant qui effectue un tri par parties.
Il consomme de l'espace mais doit être économe en ressources.

_Fichier est le nom du fichier à trier.
_LigPart est le nombre de lignes de chaque partie.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
# Sauvegarder le fichier source
mv ${_Fichier} ${_Fichier}-sav
# Le découper en portions raisonnables
split -a 4 -l ${_LigPart} ${_Fichier}-sav ${_Fichier}-part
# Trier chaque portion
for _FichierPart in ${_Fichier}-part*
do
  sort ${_FichierPart} | uniq > ${_Fichier}-sort${_FichierPart#${_Fichier}-part}
done
# Regrouper les portions triées dans le fichier final
sort -m ${_Fichier}-sort* | uniq > ${_Fichier}
# Supprimer les fichiers de travail
rm ${_Fichier}-part* ${_Fichier}-sort*