Discussion :

[IronHeavy]

Bonjour à tous,

Dans ma quête de réaliser un outil de veille réglementaire, j'en suis rendu à un phase critique: extraire les tableaux contenus des pds téléchargés sur sites institutionnels...
Je n'aurais probablement pas le financement pour recourir à une solution payante...

Mes différents tests freeware à online m'ont apporté de tout en terme de résultats:

- horribles (ni tableaux ni caractères reconnus)
- inexloitables ( caractères non respectés ou tableaux fusionnés)
- pas mal "mais" (tableaux et caractères reconnus, mais lignes ou cellules fusionnées de travers)
- parfait (tableaux nickels et exploitables mais 1 ou 2 pages en mode démo seulement! sur 85...)

Je pense qu'il existe un moyen en recourant au VBA... mais je n'ai rien trouvé qui fonctionne jusqu'à présent!

Auriez vous des pistes / lectures me permettant de résoudre cette problématique?

edit : ci dessous une page du pdf source à adapter en excel

Nomenclature ICPE_v47public TEST.pdf

par avance,

Merci

[Pierre Fauconnier]

Salut.

Comme dit ailleurs, il est malaisé de développer une procédure rapide et sans bugs pour extraire les fichiers PDF pour les placer dans un Excel. En effet, deux fichiers pdf avec un même rendu visuel peuvent avoir des structures et des tailles très différentes (un fichier excel de 3 colonnes et une douzaine de lignes produit un fichier de 65Kb via enregistrer sous pdf et un fichier au rendu similaire de 25Kb s'il est généré par PDF Architect, par exemple).

Voici une comparaison de ces deux fichiers... Rigolo, non?



Première étape: Je pense qu'il serait préférable de demander à l'Administration d'obtenir un fichier exploitable.

Si pas possible, je pense qu'il faut extraire les données par des copier-coller ou avec un logiciel de transformation (pdf architect par exemple, que j'utilise) puis nettoyer ce qui doit l'être et se constituer sa propre base de données, puis y apporter les modifs au cas par cas.

En Belgique, j'ai développé un système de gestion des installations classées (normes Région Wallonne) et nous avons dû recréer notre propre nomenclature avec une veille pour adapter notre fichier aux modifications légales imposées par l'Administration. il n'a pas été possible de gérer cela "en automatique" sur base de pages web fournissant des xml ou autres, par exemple...

Nos ministres se pavanent devant des .be et poussent les entreprises à la digitalisation, mais ne sont pas foutus de montrer l'exemple (Coup de gueule...)

[IronHeavy]

Voici une comparaison de ces deux fichiers... Rigolo, non?

Première étape: Je pense qu'il serait préférable de demander à l'Administration d'obtenir un fichier exploitable.

Si pas possible, je pense qu'il faut extraire les données par des copier-coller ou avec un logiciel de transformation (pdf architect par exemple, que j'utilise) puis nettoyer ce qui doit l'être et se constituer sa propre base de données, puis y apporter les modifs au cas par cas.

je n'ai même pas pensé à leur demander... je me demande bien pourquoi !?

En Belgique, j'ai développé un système de gestion des installations classées (normes Région Wallonne) et nous avons dû recréer notre propre nomenclature avec une veille pour adapter notre fichier aux modifications légales imposées par l'Administration. il n'a pas été possible de gérer cela "en automatique" sur base de pages web fournissant des xml ou autres, par exemple...

Je vois que tu cernes bien mon projet et problème du coup !

ci joint un fichier extrait grâce à ilove pdf, presque parfait du coup... les tableaux à utiliser se situent dès la table 9, seul souci, la fusion des cellules "désignation des rubriques" n'est pas la même que celles des "rubriques", ce qui est plus que discriminant pour la suite du projet !

Nomenclature ICPE_v47public.xlsm

[Pierre Fauconnier]

Pour info, je viens de tenter une extraction vers Excel avec PDF Acrobat... Hum...

Une autre approche en éditant le pdf avec PDF Acrobat pour sélectionner le tableau et le copier dans Excel a donné un résultat tout autant inexploitable...

[Pierre Fauconnier]

J'imagine mal comment recoller ces multiples morceaux disparates...

[patricktoulon]

re si tu avais des PDFs exploitables je t'aurais montrer comment avec adobe reader basique on peut extraire quasiment au même format
grace a une conversion HTML

exemple avec le fichier téléchargé (sujet de ton autre discussion)


a gauche Excel au milieu adobe reader a droite mon schmilblick que j'utilise depuis longtemps

[IronHeavy]

re si tu avais des PDFs exploitables je t'aurais montrer comment avec adobe reader basique on peut extraire quasiment au même format
grace a une conversion HTML

Bonjour Patrick,

Pourrais tu tester le corps principal du document avec ton astuce? les premières pages ne sont pas primordiales, ce qui est intéressant est de voir comment se comportent les tableaux à partir de la page 17 !

Je te joins le fichier expurgé des pages "inutiles"

Merci!

extrait nomenclature.pdf

[IronHeavy]

Pour pallier à la concaténation "sauvage" due au passage PDF vers Excel il m'est venu l'idée de splitter les cellules fusionnées par paragraphe :

- en utilisant la fonction "chercher" sur les n° de paragraphes ,du type 1. 1) a) ... - OK

- puis "remplacer" par //1. //1) //a) - OK

ci dessous une portion :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
Public Sub Rempl()
Dim feuil As Worksheet
For Each feuil In ThisWorkbook.Worksheets
    feuil.Cells.Replace What:="1) ", Replacement:="//1) ", MatchCase:=True
    feuil.Cells.Replace What:="2) ", Replacement:="//2) ", MatchCase:=True
    feuil.Cells.Replace What:="3) ", Replacement:="//3) ", MatchCase:=True
Next feuil
End Sub
"

- défusionner les cellules concernées avec MergCells = False - OK

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
Public Sub UnMerge()
Dim feuil As Worksheet
For Each feuil In ThisWorkbook.Worksheets
   feuil.Cells.UnMerge
Next feuil
End Sub

- puis enfin utiliser une fonction de type split pour insérer une ligne en dessous des repères "//" et y coller le paragraphe identifié - KO

Une suggestion de rédaction pour cette dernière fonction ? (plage = colonne B -> dernière ligne)

Merci !

[IronHeavy]

Sur un autre fil, une approche ciblant directement les "retours chariots" semble intéressante, et fonctionnelle!

voici mon adaptation:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
Sub TestSpliterLesCellulesAvecRetourChariot()
 
    SpliterLesCellulesAvecRetourChariot Sheets("Source"), Sheets("Cible")
 
End Sub
 
Sub SpliterLesCellulesAvecRetourChariot(ByVal FeuilleSource As Worksheet, ByVal FeuilleCible As Worksheet)
 
Dim RetoursChariots As Variant
Dim I As Long, J As Long, K As Long
Dim PremiereLigneSource As Long, DerniereLigneSource As Long
Dim LigneCible As Long
 
    With FeuilleCible
         LigneCible = .Cells(.Rows.Count, 1).End(xlUp).Row + 1
    End With
 
    With FeuilleSource
         PremiereLigneSource = 1
         DerniereLigneSource = .Cells(.Rows.Count, 1).End(xlUp).Row
         PremiereColonneSource = 1
         DerniereColonneSource = 3
 
         For I = PremiereLigneSource To DerniereLigneSource
         For K = PremiereColonneSource To DerniereColonneSource
             RetoursChariots = Split(.Cells(I, K), Chr(10))
             If UBound(RetoursChariots) > 0 Then
                For J = LBound(RetoursChariots) To UBound(RetoursChariots)
                    With FeuilleCible
                         FeuilleCible.Cells(LigneCible, K) = Trim(RetoursChariots(J))
                         LigneCible = LigneCible + 1
                    End With
                Next J
             Else
                FeuilleCible.Cells(LigneCible, K) = Trim(.Cells(I, K))
                LigneCible = LigneCible + 1
             End If
             Next K
          Next I
   End With
End Sub

Du coup, je récupère bien les données en lignes "défusionnées", mais l'alignement est corrompu: à chaque colonne les cellules sont décalées d'un ligne! Une suggestion de correction?

fichier test:

TEST NOMENCLATURE.xlsm

[Pierre Fauconnier]

Quasiment au même format? Mais en quoi c'est intéressant, quasiment le même format? Ce qui est intéressant, c'est que la législation soit exploitable au travers de tables de données. Ca a peu d'intérêt d'avoir le même format.

De plus, de l'illustration exposée, si chaque ligne de texte d'une cellule du tableau pdf donne une ligne Excel, ça va être coton pour remettre de l'ordre dans le document. Je n'ai pas le lien complet mais si la législation est aussi complexe qu'en Wallonie, il doit y avoir bien plus qu'une page. De mémoire, le document que j'ai dû traiter à l'époque faisait dans les 400 pages et la "logique" de construction du tableau n'était pas la même pour toutes les pages (colonnes en plus ou en moins pour certaines rubriques, découpe différente des cellules pour des raisons de découpage de chapitre, etc, etc)

Perso, lorsque j'ai dû travailler sur ces documents, on a vite constaté que le temps de mécaniser tout cela était bien trop coûteux et qu'une mise à jour régulière par voie informatique était irréalisable, tant pour le coût que pour le temps de développement des ajustements. Au mieux, on s'aide comme on peut pour une première version, puis une veille légale permet de réaliser des mises à jour manuelles.

[patricktoulon]

re
je ne sais pas si celle la va passer d'animation elle fait presque 2 mega

si ca passe elle parle d'elle même


si tu me dis que tu ne peux exploiter la table alors je sais plus
bien sur la tu vois tout ( j'ai bloqué quelque lignes) mais normalement tu vois rien ,seulement le résultat
ca fait parti de mon mailer CDO VBA perso

[Pierre Fauconnier]

Tester avec un fichier que tu as formé pour qu'il soit conforme à tes tests n'est pas pertinent. Ce qui est pertinent, c'est de tester avec le fichier de l'utilisateur.

Dans ton message précédent, on voit bien que le texte a été récupéré en le saucissonnant dans des lignes de la feuille Excel alors que dans le pdf, il est contenu dans une cellule. Donc, même si c'est éventuellement une avancée, elle me semble ne pas tenir la route pour un document qui va contenir beaucoup de données au format différent et qui aurait pour vocation de servir de mise à jour à une table de données.

Pour résumer mon propos, il ne me semble pas réaliste d'envisager la mise à jour de données de ce type (qui ont une importance légale non négligeable qui plus est) au départ du pdf fourni à l'entame de la discussion.

Réaliser cela dans le contexte de la présente discussion est autre chose que de récupérer deux ou trois pages pdf d'un tarif fournisseur simple et bien formé.

[patricktoulon]

RE
BEN j'ai tester avec le fichier utilisateur(le fichier téléchargé(sujet de l'autre discussion) ca match aussi

bon des fois il me restitue pas les bordures et les couleurs , mais on s'en fou tant que la table est organisée comme dans le pdf

j'ai aucun soucis pour exploiter les tables dans un pdf si tant est qu'il soit bien fait son exemplaire dans cette discussion qu'il a donné en effet me sort le meme charabia que toi
celui téléchargé sur AIDA nickel mais sans les bordures et quelques défaut de bold ou italic par ci par la

[IronHeavy]

RE
BEN j'ai tester avec le fichier utilisateur(le fichier téléchargé(sujet de l'autre discussion) ca match aussi

bon des fois il me restitue pas les bordures et les couleurs , mais on s'en fou tant que la table est organisée comme dans le pdf

j'ai aucun soucis pour exploiter les tables dans un pdf si tant est qu'il soit bien fait son exemplaire dans cette discussion qu'il a donné en effet me sort le meme charabia que toi
celui téléchargé sur AIDA nickel mais sans les bordures et quelques défaut de bold ou italic par ci par la

Tout cela mes semble prometteur, effectivement les couleurs et les italiques, je ne m'en préoccuperai pas!

En revanche, par hasard, pourrais tu nous joindre un extrait excel de ton résultat?

L'architecture d'une "rubrique" est la suivante :

Numéro de rubrique - Désignation de la rubrique - Régime administratif (Autorisation / Déclaration / Déclaration Contrôlée / Enregistrement)

(unique) - (désignation des sous rubriques) - A / D/ DC /E selon le cas, relatif aux seuils des sous rubriques

1185 - a) supérieure à 800 L - A

b) Supérieure à 80 L ET inférieure à 800 L - D

...

L'objectif est que dans le tableau excel, chaque ligne de sous rubrique contienne le régime administratif associé dans la colonne suivante, est ce le cas avec ton outil?

[Pierre Fauconnier]

Dans l'illustration du message #6, on voit bien que le texte n'a pas été récupéré dans Excel dans UNE cellule (comme le pdf de départ), mais éclaté sur une multitude de lignes. Lorsque tu auras, comme dans le fichier pdf de départ illustre ci-dessous (fichier joint au message initial de cette discussion), beaucoup de lignes dans la même cellule du PDF, comment vas-tu le récupérer? C'est cela qu'il faut montrer. Ce qu'on attend, c'est le résultat EXCEL de la transformation de CE fichier (et pas d'un de ta création). Et cela n'est qu'un extrait, car si c'est comme en Belgique, il y des notes de bas de page, des trucs pas trop catholiques à gauche et à droite, et probablement des centaines de pages.