regex qui retourne None

Version imprimable

Bonjour,
Je galère toujours autant avec les regex que j'utilise une fois par an...
Ici, j'ai une chaine qui est extraite d'un fichier et je ne comprends pas pourquoi le retour est None : un problème de caractère spécial ?
Code:

1 2 3 4 5 6 7 chaine = """( * ) été remontées de la base._____________________________________________________________________________________________________________________________ N°9856959M. BASS--S L *9856959* Classe "" """ recherche3 = re.search(r"N°(.*?)Classe", chaine)
Au final, je veux récupérer la sous-chaine BASS--S L sachant que dans nmon fichier, j'ai plein de lignes avec des N° différents.

22/04/2022, 16h30
marco056

Je pense avoir une idée : peut-être parce que je lis le fichier avec :

Code:

for ligne in contenu:

et qu'ensuite je fais ma recherche.
Comme ma recherche porte sur plusieurs lignes, ça pourrait planter là ?
22/04/2022, 16h40
marco056

Avec findall, j'ai l'impression que c'est plus concluant.
Est-ce la solution la plus simple ?
[edit] En fait, cela ne fonctionne pas non plus.
22/04/2022, 17h23
papajoker
bonjour

Citation:

Envoyé par marco056

Bonjour,
Au final, je veux récupérer la sous-chaine BASS--S L

pas compris, ta regex indique de No à Classesi tu désires que "BASS--S L" pas besoin de recherche mutiligne, et une lecture fichier ligne à ligne sans regex peut même faire l'affaire
Code:

1 2 3 4 for line in fichier: if " N°" in line: # a voir si suffisant match = line.rsplit(maxsplit=2)[-2:] print(match)
si tout le fichier est chargé dans une variable "chaine"
Code:

1 2 matches = re.findall(r'N°(.*?)\n', chaine, re.MULTILINE) matches = re.findall(r'N\°(.*?)\nClasse ', chaine, re.DOTALL)
ta regex inclu aussi le numéro, mais ce n'était pas la question
22/04/2022, 17h37
jurassic pork

Hello,
est-ce que tu as plusieurs valeurs à récupérer ? Si oui peux-tu nous montrer plusieurs lignes avec plusieurs valeurs à récupérer ?
la chaine à récupérer est-elle toujours en fin de ligne après quelque chose qui ressemble à N°xxxxxxxxM.
Ami calmant, J.P
22/04/2022, 17h42
Sve@r

Bonjour

Citation:

Envoyé par marco056

Je pense avoir une idée : peut-être parce que je lis le fichier avec :

Code:

for ligne in contenu:

et qu'ensuite je fais ma recherche.
Comme ma recherche porte sur plusieurs lignes, ça pourrait planter là ?

Certes oui ça c'est déjà un bon point de départ.
La syntaxe for lig in fichier est faite pour traiter des fichiers ayant des lignes (du caractère terminé par un '\n') et pour lesquelles chaque ligne constitue une information complète.

Si l'information (et j'ai déjà eu le cas) commence à la ligne 3 et se termine à la ligne 7, fatalement tu ne peux plus utiliser la structure ci-dessus.

Dans ce cas, la première chose à faire est de trouver comment identifier le début et la fin de l'information. Ensuite tu écris une fonction qui se charge de récupérer cette information dans le fichier sous forme itérative (donc elle te génèreinfo1, info2, info3 etc à la demande) et seulement à partir de là tu peux appliquer ta regex sur l'info traitée (et si en passant tu lui supprimes ses '\n' intermédiaires ça n'en est que mieux).
22/04/2022, 18h05
marco056

Merci à vous,
j'ai essayé de testé vos propositions, sans succès.
Effectivement, c'est un fichier très long dans lequel je dois récupérer plein d'informations.
A la base, c'est un pdf que j'ai converti en txt.
J'effectue mes recherches dans ce txt (j'espère ne pas être parti sur un pb XY...)
Les infos que je recherche sont nombreuses et multiples.
Je souhaite récupérer BIBI Camille dans

Citation:

____________________ N°537M. BIBI Camille
*537*
Classe une classe au hasard

puis plus loin BOBO Bertrand dans :

Citation:

____________________ N°2212M. BOBO Bertrand
*2212*
Classe une classe au hasard

Entre ces deux infos (en fait il y a plus de 200 noms à récupérer), j'ai aussi des valeurs à récupérer, par exemple :
7 et 7 dans :

Citation:

Epreuves terminalesFrançais écrit7Français oral7PhilosophieInscritEpreuve orale terminale dite Grand OralInscritIngénierie, [/CODE]
Cette partie, j'y suis parvenu.
Par contre, certaines infos ne veulent pas se livrer, comme les valeurs numériques dans :
[CODE]Appréciations des professeurs : (*) moyenne des notes des deux premiers trimestres de l'année de Terminale en cours. Eléments d™appréciation saisis par le professeur principal : Appréciation du chef d'établissement : Avis du chef d'établissement :DISCIPLINESAPPRECIATIONS GENERALESNote(*) etclassement del'élèveEffectif classeou groupeEnseignement moral etcivique Bon investissement dans la matière.12,519
28Physique-Chimie etMathématiquesSpé Maths : Ensemble un peu juste.Spé Phys : sérieux.7,6223
28PhilosophieTravail. Bonne participation en classe. Elève.
9,1325

J'espère avoir été plus clair...
Je vais peut-être aller voir si je peux chercher directement dans le .pdf.
22/04/2022, 18h15
jurassic pork

pour les noms tu peux essayer :

Code:

recherche3 = re.findall(r"M\.\s(.+)$", chaine,re.M)
22/04/2022, 18h20
marco056

Ah oui ! Merci, cela semble fonctionner.
J'étais parti à tester la bibliothèque tabula avec tabulate directement sur le pdf.

donc si je reprends mon code, c'est une chose du type ?

Code:

1
2
3
4
5
6
classes = re.findall(r'N\°(.*?)\nClasse ', toutlefichier, re.DOTALL)
for classe in classes:
    nom_classe = regex ("", classe, simpleligne)   # pour trouver type "BASS--S L"  , le regex de jurassic pork
    eleves = re.findall(r'eleve(.*?)/eleve ', classe, multilignes)
    for eleve in eleves:
        notes[eleve] = regex(eleve, multiligne?) # parse ligne à ligne ou regex

faire des regex dans les résultats d'autres regex parentes pour avoir une structure

Citation:

Envoyé par papajoker

donc si je reprends mon code, c'est une chose du type ?

Code:

1
2
3
4
5
6
classes = re.findall(r'N\°(.*?)\nClasse ', toutlefichier, re.DOTALL)
for classe in classes:
    nom_classe = regex ("", classe, simpleligne)   # pour trouver type "BASS--S L"  , le regex de jurassic pork
    eleves = re.findall(r'eleve(.*?)/eleve ', classe, multilignes)
    for eleve in eleves:
        notes[eleve] = regex(eleve, multiligne?) # parse ligne à ligne ou regex

Apparemment, pb avec l'instruction "regex"...

22/04/2022, 18h36
marco056

Citation:

Envoyé par jurassic pork

pour les noms tu peux essayer :

Code:

recherche3 = re.findall(r"M\.\s(.+)$", chaine,re.M)

Par contre, pas facile à partir de là de récupérer les données entre les noms car pour certains noms, les données sont absentes.
En tous cas, merci, cela me débloque déjà pas mal.
22/04/2022, 18h46
fred1599

Citation:

J'effectue mes recherches dans ce txt (j'espère ne pas être parti sur un pb XY...)

Pour avoir déjà eu ce genre de travail à faire, c'est la seule bonne méthode m'ayant permis d'avoir un travail efficace. En vrai, j'ai fais de l'interfaçage bash/python en m'appuyant du meilleur des deux mondes.

Mais dans ton cas, ça semble devenir compliqué à la vue du formatage résultant d'un PDF -> txt

Peut-être que d'autres formats seraient plus adaptés, mais il faut déjà tester, par exemple xml, html, qui utiliserait un module tel que lxml ou beautifulsoup ou ...

Tu auras peut-être des modules Python dédiés à la lecture de PDF qui peuvent rendre plus facile l'analyse, faut encore une fois tester. De mon côté cette partie ne me permettait pas de répondre à la demande de temps d'exécution maximum.

Sur le principe, je pense donc que ta solution n'est pas déconnant du tout !

Citation:

Envoyé par marco056

Apparemment, pb avec l'instruction "regex"...

ce n'était qu'une structure : pas du code python valide

Code:

1
2
3
4
5
6
chapitres = regex_multiligne dans livre
for chapitre in chapitres:
    titre = regex_ligne (dans chapitre)
    for pararaphe in regex_multiligne("^\n(./)^\n" dans livre):
          eleves= regex ... (dans paragraphe)
          notes = regex ... (dans paragraphe ou dans eleve)

22/04/2022, 19h21
Sve@r
Citation:

Envoyé par marco056

A la base, c'est un pdf que j'ai converti en txt.
J'effectue mes recherches dans ce txt (j'espère ne pas être parti sur un pb XY...)

Ben... :oops: Généralement on considère que toute conversion détruit (ou corromp) de l'information... surtout quand la conversion se fait depuis ensemble de départ plus riche (ici PDF) que l'ensemble d'arrivée (du TXT).
Citation:
Envoyé par marco056

Les infos que je recherche sont nombreuses et multiples.
Je souhaite récupérer BIBI Camille dans

Code:

1 2 3 ____________________ N°537M. BIBI Camille *537* Classe une classe au hasard
Hoho... Tu veux récupérer la petite Bibi dans une classe? Es-tu certain de bien prendre en considération toutes les conséquences inhérentes au sens qu'on peut donner à cette phrase...? :aie:

Citation:

Envoyé par marco056

Je vais peut-être aller voir si je peux chercher directement dans le .pdf.

https://www.datacorner.fr/pdf/
22/04/2022, 19h59
wiztricks

Salut,

Citation:

Envoyé par marco056

Par contre, pas facile à partir de là de récupérer les données entre les noms car pour certains noms, les données sont absentes.

Si le texte est dans les cases d'un ou de plusieurs tableaux, "est dans la même case que" ou "est dans la case (i, j)" sont des informations qui disent quoi va avec quoi qu'on doit récupérer.

- W
23/04/2022, 09h35
jurassic pork

Hello,

Citation:

Envoyé par marco056

Par contre, pas facile à partir de là de récupérer les données entre les noms car pour certains noms, les données sont absentes.
En tous cas, merci, cela me débloque déjà pas mal.

Peux-tu nous montrer des lignes avec ce cas de figure.
Sinon pour récupérer proprement du texte d'un PDF ( sauf PDF image) :
1 - Ouvrir le PDF avec un lecteur PDF (ex : Acrobat Reader ou Navigateur (ex : Chrome))
2 - Sélectionner tout le texte du document (CTRL A) et le coller dans NotePad++. Enregistrer en format texte.

Ami calmant, J.P
23/04/2022, 14h35
marco056

Merci.
Un extrait du texte est de la forme :

Citation:

Appréciations des professeurs : (*) moyenne des notes des deux premiers trimestres de l'année de Terminale en cours. Eléments d™appréciation saisis par le professeur principal : Appréciation du chef d'établissement : Avis du chef d'établissement :DISCIPLINESAPPRECIATIONS GENERALESNote(*) etclassement del'élèveEffectif classeou groupeEducation Physique etSportiveTrès bon niveau de compétence, par un travail sérieux et assidu associé à un excellent état d'esprit.Bonne autonomie et gestion . Une excellente participation aux projets associés15,948
24Ingénierie, innovationet développementdurableÉlève sérieux et réfléchi et surtout curieux et motivé. Bon état d'esprit et forcément les résultats suivent.14,963
23Histoire/GéographieÉlève volontaire et sérieux. Excellent investissement. De très belles capacités.
16,232
23Enseignement moral etciviqueÉlève volontaire et sérieux. Excellent investissement. De très belles capacités.15,151
23PhilosophieTravail très satisfaisant et très convaincant pour répondre au type de formation demandée pour la
poursuite des études.13,335
23Langue vivante A :AnglaisUne belle performance teintée de curiosité, de pertinence dans les interventions et d'une solide maitrisede la langue. Bravo!15,623
23Langue vivante B :EspagnolBon niveau et sérieux. Implication de qualité et progrès.14,714
15Physique-Chimie etMathématiquesExcellent élève

Je voudrais par exemple récupérer 14,71 4 15 sur la dernière info
ou encore 15,15 1 23 juste avant Philosophie
Je bloque encore sur le parsing du fichier txt malgré les aides apportées.
Je vais aussi avoir à récupérer pour "Ingénierie, innovationet développementdurable" les données 14.96 3 23 mais cela peut être autre chose à la place comme "Architecture et Construction" ou bien d'autres choix encore.
Là où je me dis que le pdf serait plus exploitable, c'est parce que ces données sont dans des tableaux. J'ai vu qu'on pouvait récupérer les données de tableaux, le plus dur étant de sélectionner les tableaux qui m'intéressent parmi les 800 que j'ai.
23/04/2022, 15h12
jurassic pork

Tu le récupères comment ton texte à partir du PDF ? cela ne ressemble pas à ce que l'on peut obtenir par ma méthode du copier coller à partir d'un lecteur PDF (c'est plus propre).
Sinon si tu as vraiment des tableaux dans ton PDF tu peux essayer tabula (qui transformes des tableaux PDF en csv). Si avec l'auto détect tabula ne détecte aucun tableau dans ton PDF c'est que ceux sont des faux tableaux que tu as dans ton PDF.
23/04/2022, 16h05
marco056

Effectivement, j'ai utilisé PyPDF2
En faisant un copier-coller, c'est effectivement plus propre et plus exploitable.
Merci.
Avec tabula, j'ai essayé hier mais j'ai énormément de tableaux que je ne veux pas exploiter forcément.
23/04/2022, 17h02
marco056

Bon, en fait, en faisant un copier-coller, les tableaux sont détruits et on perd les infos : la case ligne 3, colonne 3 du tableau se retrouve 10 lignes plus bas par exemple.