Récupération d'adresses mail

**elodouwen** · 13/09/2023, 18h41

bonjour
j'ai exporté un .pdf en .txt avec python et maintenant je souhaite récupérer les adresses mail qu'il contient
j'ai trouvé sur internet ce script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -iEo ‘[a-z.0-9-_]{1,}@[a-z0-9-_]*.[-a-z0-9-_]*.*[a-z]{2,4}’ listeParentsTriDivisionCOLLEGE.pdf.txt | sort | uniq > listecollege.txt

plus précisément je l'ai trouvé ici : trouvé ici https://www.nuleninfo.com/tutoriels/47-maillinux/
le truc c'est que je ne maîtrise par grep et je ne comprend pas quoi faire avec le message d'erreur que j'ai :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep: invalid character range

j'aurai une deuxième question après, mais pouvez-vous me débloquer déjà ici ?
merci !

**Sve@r** · 13/09/2023, 20h31

Bonjour

Envoyé par elodouwen

j'ai trouvé sur internet ce script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -iEo ‘[a-z.0-9-_]{1,}@[a-z0-9-_]*.[-a-z0-9-_]*.*[a-z]{2,4}’ listeParentsTriDivisionCOLLEGE.pdf.txt | sort | uniq > listecollege.txt

le truc c'est que je ne maîtrise par grep et je ne comprend pas quoi faire avec le message d'erreur que j'ai :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep: invalid character range

Copier/coller des codes issus du net ce n'est pas forcément à faire. Surtout si ces codes sont typographiés avec une police qui ressort joliement à l'écran mais qui donne des caractères incompatibles bash.
Les chaines du grep se mettent entre double quotes. Ici elle commence par une backquote et se termine par une quote simple. Et en shell, les backquotes ont une signification particulière (ainsi que les quotes simples qui en ont une autre).

**N_BaH** · 13/09/2023, 20h44

oui.
les apostrophes n'en sont pas.
et la regex est erronée : un nom de domaine ne peux pas être tel qu'elle le décrit.

et oui. nuleninfo est bien nuleninfo; ça aurait dû de titiller le neurone.

**elodouwen** · 13/09/2023, 20h46

c'est gentil les gars d'avoir relevé mon incompétence et de m'avoir averti que le copier coller ne marche pas
vous, vous savez faire, moi non
si vous ne pouvez pas juste me rectifier le code, ce qui risque de vous prendre quelques secondes, je vais me décider à passer quelques heures à apprendre grep
l'an prochain sûrement après le rush du boulot…
bonne soirée
Vincent

**Sve@r** · 13/09/2023, 21h05

Envoyé par elodouwen

c'est gentil les gars d'avoir relevé mon incompétence et de m'avoir averti que le copier coller ne marche pas

Bah, ça t'a au-moins appris quelque chose. Moi je suis content chaque fois que j'apprends un truc.

Envoyé par elodouwen

vous, vous savez faire, moi non

Tu aurais pu aussi ouvrir un tutoriel. On a tous été débutants, on a tous ouvert un livre dans lequel était indiqué que grep voulait une chaine à chercher. Ensuite évidemment vient la notion de "comment exprimer une chaine en shell" qu'on supposait connue de ta part. Parce que si on doit en plus estimer ton niveau de méconnaissances comment savoir où s'arrêter ? Au shell ? A Linux ? A l'ordinateur ?

Envoyé par elodouwen

si vous ne pouvez pas juste me rectifier le code, ce qui risque de vous prendre quelques secondes

Tu es enseignant, tu acceptes ça de tes élèves? Tu leurs dit "ici il y a une erreur" tu acceptes qu'ils te répondent "si vous ne pouvez pas juste me rectifier, ce qui risque de vous prendre quelques secondes" ???
Donc si je ne l'ai pas fait, c'est déjà parce que je ne voyais pas la nécessité. Tu as récupéré une regex sur un site, je pars du principe qu'elle fonctionne (le type qui l'a écrite l'aura au-moins testé). Donc je te dis que l'erreur est sur les quotes qui doivent être doubles tu changes alors les quotes en quotes double ça ne risque que de te prendre quelques secondes.

**N_BaH** · 13/09/2023, 21h08

oops, oui, j'ai oublié de dire que le tiret, qui, entre crochets, indique normalement des intervalles, pour être considéré en tant que tel, doit n'être pas précédé, ou pas suivi par un quelconque caractère.

**elodouwen** · 13/09/2023, 23h25

j'ai étudié le Bash en Mooc (super Mooc la Réunion) il y a plusieurs années
j'avais adoré
j'avais pas approfondi le grep, juste les bases
j'avais écrit un tuto dessus
mais là je suis pas du tout en mode apprentissage, j'ai très peu de temps et j'ai vraiment besoin d'extraire les adresses mails
j'ai essayé ce que vous avez dit "transformer les ' en " (guillemet) j'ai essayé aussi de transformer les ' en (deux apostrophes) mais ça ne marche pas et j'ai pas compris la remarque sur les tirets (les - ? les _ ?)
j'ai essayé ça donc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
grep -iEo ‘[a-z.0-9-_]{1,}@[a-z0-9-_]*.[-a-z0-9-_]*.*[a-z]{2,4}’ truc.pdf.txt | sort | uniq > listecollege.txt
grep -iEo "[a-z.0-9-_]{1,}@[a-z0-9-_]*.[-a-z0-9-_]*.*[a-z]{2,4}" truc.pdf.txt | sort | uniq > listecollege.txt
grep -iEo ''[a-z.0-9-_]{1,}@[a-z0-9-_]*.[-a-z0-9-_]*.*[a-z]{2,4}'' truc.pdf.txt | sort | uniq > listecollege.txt

mais toujours le même message d'erreur
si je dois plonger dans le manuel de grep bon il est certain que c'est instructif… mais long…
si jamais, avant, cependant, vous avez une idée je suis preneur
désolé pour tout à l'heure si j'ai été impatient
et tu peux retirer la dernière ligne aussi
voilà : juste pour dire que si vous avez une idée je suis bien preneur

**Sve@r** · 13/09/2023, 23h29

Envoyé par elodouwen

si jamais, avant, cependant, vous avez une idée je suis preneur

Peut-être déjà un exemple du fichier de départ nous aiderait à y voir plus clair.

Envoyé par elodouwen

et tu peux retirer la dernière ligne aussi

Ok

**elodouwen** · 13/09/2023, 23h36

ok merci
bon…
je suis embêté car je ne peux pas publier le fichier
ou alors je vais me bouger un peu les fesses et demain matin je vais essayer sur un fichier test pour voir et après je reviens vers vous
on va faire ça
donc je vous dis à demain pour les questions, le fichier test, ou la conclusion :-)
bonne soirée
Vincent

**N_BaH** · 14/09/2023, 01h26

dans une regex, une expression entre crochets peut définir un intervalle (par exemple entre a et Z) en plaçant les deux limites de part et d'autre d'un tiret.
le tiret, dans ce cas de figure, perd sa nature de caractère pour devenir une partie de la regex, sauf s'il est placé au tout début, ou tout à la fin.
donc, pour définir entre crochet un intervalle entre a et d et comprenant un tiret et un soulignement, on écrira [a-b_-], sinon l'interpréteur de regex va chercher un intervalle supplémentaire entre d et _; ce qui est impossible puisqu'un intervalle n'a que deux limites !

**Sve@r** · 14/09/2023, 07h24

Oui si le fichier est sensible (emails réels) tu peux en créer un faux c'est pas grave. L'important est de savoir comment sont stockés ces adresses (une par ligne, plusieurs par ligne, dans du texte, avec un séparateur, ...)
D'ailleurs le site que tu donnes au départ est un peu moyen. Il parle d'extraction d'adresses sans même montrer l'exemple sur lequel il s'appuie. Comment on peut en tirer quoi que ce soit.

**elodouwen** · 14/09/2023, 07h32

merci de vos réponses
donc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[a-z.0-9-_]

signifie de a jusqu'à z, puis de 0 jusqu'à 9, puis le - et le _ c'est ça ?

voici un fichier non réel mais inspiré du fichier réel :

fichier-test.txt
j'avais rédigé ça lors de mon mooc mais j'ai du mal moi même à m'y replonger (paragraphe "grep")

**Sve@r** · 14/09/2023, 07h55

Envoyé par elodouwen

voici un fichier non réel mais inspiré du fichier réel :

A priori, les adresses sont uniques sur la ligne. Donc la ligne commence et fini par un email.

En tapant grep -e "^.\{1,\}@.\{1,\}\..\{1,\}$" fichier ça me sort tactac@orange.fr

La regex signifie "tout ce qui commence (le "^") par des caractères quelconque et multiples (le "point" c'est "un caractère quelconque" et les accolades contenant "1," signifient "de 1 à n"), puis suivi d'un "@", puis d'autres caractères multiples, puis un vrai point cette fois (donc protégé par un backslash), puis encore des caractères et qui termine la ligne (le "$"). C'est un peu large mais si ça convient...

**elodouwen** · 14/09/2023, 08h35

merci beaucoup les gars ça marche

j'ai noté les explications

ma seconde question est la suivante :

pour ne pas que les autres antennes locales me demandent de faire le job sur leurs pdf (convertir le pdf en txt avec mon programme python + écrémer le txt avec le bash)
je voudrais automatiser le processus

y a til moyen de créer un exéctuable, comme j'imagine que je peux le faire avec python
les collègues n'ont pas forcément accès à la ligne de commande, c'est le moins qu'on puisse dire

croyez vous que je puisse créer un exécutable windows/mac qui, lorqu'on double clique dessus, lance le script bash, en donnant par exemple la contrainte que l'exécutable soit dans le même dossier que le .txt ?

dans mon tuto personnel, voici ce que j'avais écrit mais moi je ne sais pas quoi en faire :

17.1. Méthode
Taper un script avec un éditeur de texte brut.
La première ligne doit toujours être #!/bin/bash et les remarques commencent par # Vérier qu'on a les droits dessus : chmod +x fichier.sh
L'éxécuter en tapant nom pas fichier.sh mais ./fichier.sh
Pour que fichier.sh fonctionne dans spécier son chemin, il faut que . soit dans la variable
PATH
On peut aussi l'exécuter en faisant bash fichier.sh
Autre méthode : taper /ici/la/fichier.sh (en donnant donc le chemin absolu) permet d'exé-
cuter la commande.

**Sve@r** · 14/09/2023, 08h59

Envoyé par elodouwen

pour ne pas que les autres antennes locales me demandent de faire le job sur leurs pdf (convertir le pdf en txt avec mon programme python + écrémer le txt avec le bash)
je voudrais automatiser le processus

y a til moyen de créer un exéctuable, comme j'imagine que je peux le faire avec python
les collègues n'ont pas forcément accès à la ligne de commande, c'est le moins qu'on puisse dire

Si tes collègues sont sous Linux, tu peux créer un shell qui

lance la conversion pdt=>txt
extrait les adresses

Si maintenant ils sont sous Windows alors non. Il n'y a pas (à ma connaissance) d'outil permettant de créer un runtime d'un shell comme on peut le faire avec Python. Il faut que tu fasses ton extraction en Python (ce que tu aurais pu faire dès le départ, Python connait aussi les regex) puis de là tu peux créer un runtime Python pour tes collègues (mais s'ils sont sous Windows il te faudra créer ton runtime depuis un Windows sur lequel tu auras installé Python)

Envoyé par elodouwen

dans mon tuto personnel, voici ce que j'avais écrit mais moi je ne sais pas quoi en faire :
Taper un script avec un éditeur de texte brut.
La première ligne doit toujours être #!/bin/bash et les remarques commencent par # Vérier qu'on a les droits dessus : chmod +x fichier.sh
L'éxécuter en tapant nom pas fichier.sh mais ./fichier.sh
Pour que fichier.sh fonctionne dans spécifier son chemin, il faut que . soit dans la variable PATH
On peut aussi l'exécuter en faisant bash fichier.sh
Autre méthode : taper /ici/la/fichier.sh (en donnant donc le chemin absolu) permet d'exé-cuter la commande.

Peut-être que tu ne sais pas quoi en faire parce que tu n'as pas bien perçu le fonctionnement général d'un script. Donc tu as écrit des règles comme tu aurais écrit des formules magiques.
La première ligne doit indiquer le langage du script. Cela permet à Linux de savoir quel interpréteur utiliser et permet ainsi à userB (qui n'est pas forcément en bash) d'utiliser un script écrit par userA. Le script s'exécutant dans une bulle dédiée ne dépendant pas des shells des userA et userB mais de son propre shell à lui.
Le chmod +x permet de rendre un fichier exécutable (par sécurité les fichiers créés ne sont pas exécutables par défaut). Mais dès qu'il l'est, alors sauf changement manuel il le reste.
Un script doit toujours être exécuté en indiquant son chemin (question de sécurité). Ce chemin peut être nommé en relatif (ne commence pas par un slash) ou en absolu (commence par un slash). Ainsi le nom "point" référence bien un chemin.
La phrase "Pour que fichier.sh fonctionne dans spécifier son chemin, il faut que . soit dans la variable PATH" est totalement fausse (exemple tu peux très bien exécuter le programme "ls" sans spécifier son chemin et sans avoir "." dans le PATH). Voici la réalité: on peut positionner des chemins préférentiels dans la variable "PATH". Ainsi si le chemin n'est pas donné, alors le script sera essayé depuis chaque chemin contenu dans cette variable. Mais quoi qu'il en soit, le script sera toujours exécuté depuis un chemin (donné manuellement ou pris dans le PATH). Accessoirement mettre "." dans le PATH constitue une faille de sécurité (tout fichier placé n'importe où pouvant alors être exécuté par mégarde).
Si un script n'est pas exécutable, on peut alors à la place demander à l'interpréteur du script de traiter le script. Mais cela nécessite de savoir dans quel langage a été écrit le script (si tu demandes bash script_python ça va pas trop marcher). Il vaut mieux le rendre exécutable, lui positionner le "#!..." correct et laisser ensuite l'OS gérer.
Et il y a une syntaxe plus souple pour #!/bin/bash qui est #!/usr/bin/env bash. Cela permet à l'OS de prendre le bash là où il se trouve (il n'est pas forcément dans "/bin"). Et c'est valable pour les autres langages (perl, python, ...)

**jack-ft** · 14/09/2023, 11h59

Envoyé par Sve@r

A priori, les adresses sont uniques sur la ligne. Donc la ligne commence et finit par un email.

En tapant grep -e "^.\{1,\}@.\{1,\}\..\{1,\}$" fichier ça me sort tactac@orange.fr

La regex signifie "tout ce qui commence (le "^") par des caractères quelconque et multiples (le "point" c'est "un caractère quelconque" et les accolades contenant "1," signifient "de 1 à n"), puis suivi d'un "@", puis d'autres caractères multiples, puis un vrai point cette fois (donc protégé par un backslash), puis encore des caractères et qui termine la ligne (le "$"). C'est un peu large mais si ça convient...

Il me semble que, logiquement, lorsque ^ est suivi de quelque chose comme .* ou .\{1,\}, alors il ne sert à rien... De même pour le $ final !

En effet, environ toutes les lignes commencent par n'importe quel caractère (sauf les lignes vides).

Petit défi (pour me contredire (ou vous convaincre)): trouver une chaine $strqui donne des résultats différents pour:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
grep -e "^.\{1,\}@.\{1,\}\..\{1,\}$"  <<<"$str"
grep -e ".\{1,\}@.\{1,\}\..\{1,\}"  <<<"$str"

**Sve@r** · 14/09/2023, 12h15

Envoyé par jack-ft

Il me semble que, logiquement, lorsque ^ est suivi de quelque chose comme .* ou .\{1,\}, alors il ne sert à rien... De même pour le $ final !

En effet, environ toutes les lignes commencent par n'importe quel caractère (sauf les lignes vides).

Je me suis dit (peut-être à tort) que le grep irait plus vite (se contentrant exclusivement sur le début des lignes)...

**chrtophe** · 14/09/2023, 13h40

y a til moyen de créer un exéctuable, comme j'imagine que je peux le faire avec python
les collègues n'ont pas forcément accès à la ligne de commande, c'est le moins qu'on puisse dire

croyez vous que je puisse créer un exécutable windows/mac qui, lorqu'on double clique dessus, lance le script bash, en donnant par exemple la contrainte que l'exécutable soit dans le même dossier que le .txt ?

Pour Windows, normalement on fait du batch ou du PowerShell, avec WSL (Windows Subsystem for Linux), tu peux faire tourner Bash. Par contre la commande grep par exemple est externe, mais je pense que grep devrait être dispo avec WSL2.

Pour Mac,les anciennes versions utilisent Bash, les nouvelles utilisent zsh, à vérifier que ton script est compatible avec zsh. Les commandes comme grep sont dispo sur Mac (certaines commandes peuvent avoir un comportement légèrement différent par rapport à Linux, mais grep je pense pas). Pour créer un icône, je crois qu'en ajoutant l'extension .command (au raccourci), ça se lance, sinon un Applescript appelant ton script Shell devrait faire l’affaire.