[sort] Y a-t-il une limitation ?

Bonjour,

J'ai reçu les messages suivants lors du dédoublonnage de fichiers avec sort -u :

Citation:

---

sort: Write error while merging.
sort: Write error while sorting.

---

Je me demandais donc s'il existait une limite physique au niveau de la taille des fichiers que peut traiter la commande sort.

Merci de me partager votre expertise

Salut.

Et que renvoi un sort tout court même quitte à faire sort | uniq. Même erreur ?

Sinon tu as une partition séparée pour /tmp ou équivalent ? Peut être que tu n'a plus assez de place... pour pallier à ça tu as l'option -T pour spécifier le répertoire pour stocker les fichiers temporaires générés par sort. Essayes peut être de le faire quelque part ou tu as de la place...

Idriss

Merci pour ta réponse.

J'ai utilisé l'option -T et mon dédoublonnage est arrivé au bout... avec de la patience. :zen:
Il y avait quand même 65 millions de lignes dans un fichier de 45 Go. :aie:

Et du coup c'est bien parce que l'espace de la partition contenant /tmp est insuffisant pour les fichiers temporaires de sort ?

En effet

En cas de besoin, j'ai trouvé et testé le code suivant qui effectue un tri par parties.
Il consomme de l'espace mais doit être économe en ressources.

_Fichier est le nom du fichier à trier.
_LigPart est le nombre de lignes de chaque partie.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

# Sauvegarder le fichier source mv ${_Fichier} ${_Fichier}-sav # Le découper en portions raisonnables split -a 4 -l ${_LigPart} ${_Fichier}-sav ${_Fichier}-part # Trier chaque portion for _FichierPart in ${_Fichier}-part* do sort ${_FichierPart} | uniq > ${_Fichier}-sort${_FichierPart#${_Fichier}-part} done # Regrouper les portions triées dans le fichier final sort -m ${_Fichier}-sort* | uniq > ${_Fichier} # Supprimer les fichiers de travail rm ${_Fichier}-part* ${_Fichier}-sort*

---