bonjour, je travaille sur un générateur de mots , pour une langage donnée

voici mon problème , j'ai pu construire un fichier qui contient tout les mots possibles pour ce langages mais avec redondances

alors je veux savoir si quelqu'un a une fonction pour supprimer les redondances dans un fichier , sa va me facilité beaucoups la tache.
merci