Extraction de tableaux pdf vers excel exploitable

Version imprimable

30/05/2019, 12h52
IronHeavy

1 pièce(s) jointe(s)

Extraction de tableaux pdf vers excel exploitable

Bonjour à tous,

Dans ma quête de réaliser un outil de veille réglementaire, j'en suis rendu à un phase critique: extraire les tableaux contenus des pds téléchargés sur sites institutionnels...
Je n'aurais probablement pas le financement pour recourir à une solution payante...

Mes différents tests freeware à online m'ont apporté de tout en terme de résultats:

- horribles (ni tableaux ni caractères reconnus)
- inexloitables ( caractères non respectés ou tableaux fusionnés)
- pas mal "mais" (tableaux et caractères reconnus, mais lignes ou cellules fusionnées de travers)
- parfait (tableaux nickels et exploitables mais 1 ou 2 pages en mode démo seulement! sur 85...)

Je pense qu'il existe un moyen en recourant au VBA... mais je n'ai rien trouvé qui fonctionne jusqu'à présent!

Auriez vous des pistes / lectures me permettant de résoudre cette problématique?

edit : ci dessous une page du pdf source à adapter en excel

Pièce jointe 479346

par avance,

Merci
30/05/2019, 13h24
Pierre Fauconnier

1 pièce(s) jointe(s)

Salut.

Comme dit ailleurs, il est malaisé de développer une procédure rapide et sans bugs pour extraire les fichiers PDF pour les placer dans un Excel. En effet, deux fichiers pdf avec un même rendu visuel peuvent avoir des structures et des tailles très différentes (un fichier excel de 3 colonnes et une douzaine de lignes produit un fichier de 65Kb via enregistrer sous pdf et un fichier au rendu similaire de 25Kb s'il est généré par PDF Architect, par exemple).

Voici une comparaison de ces deux fichiers... Rigolo, non?

Pièce jointe 479350

Première étape: Je pense qu'il serait préférable de demander à l'Administration d'obtenir un fichier exploitable.

Si pas possible, je pense qu'il faut extraire les données par des copier-coller ou avec un logiciel de transformation (pdf architect par exemple, que j'utilise) puis nettoyer ce qui doit l'être et se constituer sa propre base de données, puis y apporter les modifs au cas par cas.

En Belgique, j'ai développé un système de gestion des installations classées (normes Région Wallonne) et nous avons dû recréer notre propre nomenclature avec une veille pour adapter notre fichier aux modifications légales imposées par l'Administration. il n'a pas été possible de gérer cela "en automatique" sur base de pages web fournissant des xml ou autres, par exemple...

Nos ministres se pavanent devant des .be et poussent les entreprises à la digitalisation, mais ne sont pas foutus de montrer l'exemple (Coup de gueule...)
30/05/2019, 13h30
Pierre Fauconnier

Pour info, je viens de tenter une extraction vers Excel avec PDF Acrobat... Hum...

Une autre approche en éditant le pdf avec PDF Acrobat pour sélectionner le tableau et le copier dans Excel a donné un résultat tout autant inexploitable... :(
30/05/2019, 13h45
IronHeavy

1 pièce(s) jointe(s)

Citation:

Envoyé par Pierre Fauconnier

Voici une comparaison de ces deux fichiers... Rigolo, non?

8O

Citation:

Envoyé par Pierre Fauconnier

Première étape: Je pense qu'il serait préférable de demander à l'Administration d'obtenir un fichier exploitable.

Si pas possible, je pense qu'il faut extraire les données par des copier-coller ou avec un logiciel de transformation (pdf architect par exemple, que j'utilise) puis nettoyer ce qui doit l'être et se constituer sa propre base de données, puis y apporter les modifs au cas par cas.

je n'ai même pas pensé à leur demander... je me demande bien pourquoi !?

Citation:

Envoyé par Pierre Fauconnier

En Belgique, j'ai développé un système de gestion des installations classées (normes Région Wallonne) et nous avons dû recréer notre propre nomenclature avec une veille pour adapter notre fichier aux modifications légales imposées par l'Administration. il n'a pas été possible de gérer cela "en automatique" sur base de pages web fournissant des xml ou autres, par exemple...

Je vois que tu cernes bien mon projet et problème du coup !

ci joint un fichier extrait grâce à ilove pdf, presque parfait du coup... les tableaux à utiliser se situent dès la table 9, seul souci, la fusion des cellules "désignation des rubriques" n'est pas la même que celles des "rubriques", ce qui est plus que discriminant pour la suite du projet !

Pièce jointe 479353
30/05/2019, 15h58
Pierre Fauconnier

J'imagine mal comment recoller ces multiples morceaux disparates...
30/05/2019, 17h03
patricktoulon

1 pièce(s) jointe(s)

re

re si tu avais des PDFs exploitables je t'aurais montrer comment avec adobe reader basique on peut extraire quasiment au même format
grace a une conversion HTML

exemple avec le fichier téléchargé (sujet de ton autre discussion)
Pièce jointe 479370

a gauche Excel au milieu adobe reader a droite mon schmilblick que j'utilise depuis longtemps ;)
30/05/2019, 17h14
Pierre Fauconnier

Quasiment au même format? Mais en quoi c'est intéressant, quasiment le même format? Ce qui est intéressant, c'est que la législation soit exploitable au travers de tables de données. Ca a peu d'intérêt d'avoir le même format.

De plus, de l'illustration exposée, si chaque ligne de texte d'une cellule du tableau pdf donne une ligne Excel, ça va être coton pour remettre de l'ordre dans le document. Je n'ai pas le lien complet mais si la législation est aussi complexe qu'en Wallonie, il doit y avoir bien plus qu'une page. De mémoire, le document que j'ai dû traiter à l'époque faisait dans les 400 pages et la "logique" de construction du tableau n'était pas la même pour toutes les pages (colonnes en plus ou en moins pour certaines rubriques, découpe différente des cellules pour des raisons de découpage de chapitre, etc, etc)

Perso, lorsque j'ai dû travailler sur ces documents, on a vite constaté que le temps de mécaniser tout cela était bien trop coûteux et qu'une mise à jour régulière par voie informatique était irréalisable, tant pour le coût que pour le temps de développement des ajustements. Au mieux, on s'aide comme on peut pour une première version, puis une veille légale permet de réaliser des mises à jour manuelles.
30/05/2019, 17h35
patricktoulon

1 pièce(s) jointe(s)

re

re
je ne sais pas si celle la va passer d'animation elle fait presque 2 mega

si ca passe elle parle d'elle même
Pièce jointe 479375

si tu me dis que tu ne peux exploiter la table alors je sais plus
bien sur la tu vois tout ( j'ai bloqué quelque lignes) mais normalement tu vois rien ,seulement le résultat
ca fait parti de mon mailer CDO VBA perso;)
30/05/2019, 17h40
Pierre Fauconnier

:roll:

Tester avec un fichier que tu as formé pour qu'il soit conforme à tes tests n'est pas pertinent. Ce qui est pertinent, c'est de tester avec le fichier de l'utilisateur.

Dans ton message précédent, on voit bien que le texte a été récupéré en le saucissonnant dans des lignes de la feuille Excel alors que dans le pdf, il est contenu dans une cellule. Donc, même si c'est éventuellement une avancée, elle me semble ne pas tenir la route pour un document qui va contenir beaucoup de données au format différent et qui aurait pour vocation de servir de mise à jour à une table de données.

Pour résumer mon propos, il ne me semble pas réaliste d'envisager la mise à jour de données de ce type (qui ont une importance légale non négligeable qui plus est) au départ du pdf fourni à l'entame de la discussion.

Réaliser cela dans le contexte de la présente discussion est autre chose que de récupérer deux ou trois pages pdf d'un tarif fournisseur simple et bien formé.
30/05/2019, 17h51
patricktoulon

RE

RE
BEN j'ai tester avec le fichier utilisateur(le fichier téléchargé(sujet de l'autre discussion) ca match aussi

bon des fois il me restitue pas les bordures et les couleurs , mais on s'en fou tant que la table est organisée comme dans le pdf

j'ai aucun soucis pour exploiter les tables dans un pdf si tant est qu'il soit bien fait son exemplaire dans cette discussion qu'il a donné en effet me sort le meme charabia que toi
celui téléchargé sur AIDA nickel mais sans les bordures et quelques défaut de bold ou italic par ci par la
30/05/2019, 17h56
Pierre Fauconnier

1 pièce(s) jointe(s)

Dans l'illustration du message #6, on voit bien que le texte n'a pas été récupéré dans Excel dans UNE cellule (comme le pdf de départ), mais éclaté sur une multitude de lignes. Lorsque tu auras, comme dans le fichier pdf de départ illustre ci-dessous (fichier joint au message initial de cette discussion), beaucoup de lignes dans la même cellule du PDF, comment vas-tu le récupérer? C'est cela qu'il faut montrer. Ce qu'on attend, c'est le résultat EXCEL de la transformation de CE fichier (et pas d'un de ta création). Et cela n'est qu'un extrait, car si c'est comme en Belgique, il y des notes de bas de page, des trucs pas trop catholiques à gauche et à droite, et probablement des centaines de pages.

Pièce jointe 479386
30/05/2019, 20h24
IronHeavy

Citation:

Envoyé par patricktoulon

RE
BEN j'ai tester avec le fichier utilisateur(le fichier téléchargé(sujet de l'autre discussion) ca match aussi

bon des fois il me restitue pas les bordures et les couleurs , mais on s'en fou tant que la table est organisée comme dans le pdf

j'ai aucun soucis pour exploiter les tables dans un pdf si tant est qu'il soit bien fait son exemplaire dans cette discussion qu'il a donné en effet me sort le meme charabia que toi
celui téléchargé sur AIDA nickel mais sans les bordures et quelques défaut de bold ou italic par ci par la

Tout cela mes semble prometteur, effectivement les couleurs et les italiques, je ne m'en préoccuperai pas!

En revanche, par hasard, pourrais tu nous joindre un extrait excel de ton résultat?

L'architecture d'une "rubrique" est la suivante :

Numéro de rubrique - Désignation de la rubrique - Régime administratif (Autorisation / Déclaration / Déclaration Contrôlée / Enregistrement)

(unique) - (désignation des sous rubriques) - A / D/ DC /E selon le cas, relatif aux seuils des sous rubriques

1185 - a) supérieure à 800 L - A

b) Supérieure à 80 L ET inférieure à 800 L - D

...

L'objectif est que dans le tableau excel, chaque ligne de sous rubrique contienne le régime administratif associé dans la colonne suivante, est ce le cas avec ton outil?
05/06/2019, 09h33
IronHeavy

1 pièce(s) jointe(s)

Citation:

Envoyé par patricktoulon

re si tu avais des PDFs exploitables je t'aurais montrer comment avec adobe reader basique on peut extraire quasiment au même format
grace a une conversion HTML

Bonjour Patrick,

Pourrais tu tester le corps principal du document avec ton astuce? les premières pages ne sont pas primordiales, ce qui est intéressant est de voir comment se comportent les tableaux à partir de la page 17 !

Je te joins le fichier expurgé des pages "inutiles"

Merci!

Pièce jointe 480866

nouvelle piste !

Pour pallier à la concaténation "sauvage" due au passage PDF vers Excel il m'est venu l'idée de splitter les cellules fusionnées par paragraphe :

- en utilisant la fonction "chercher" sur les n° de paragraphes ,du type 1. 1) a) ... - OK

- puis "remplacer" par //1. //1) //a) - OK

ci dessous une portion :
Code:

1 2 3 4 5 6 7 8 9 Public Sub Rempl() Dim feuil As Worksheet For Each feuil In ThisWorkbook.Worksheets feuil.Cells.Replace What:="1) ", Replacement:="//1) ", MatchCase:=True feuil.Cells.Replace What:="2) ", Replacement:="//2) ", MatchCase:=True feuil.Cells.Replace What:="3) ", Replacement:="//3) ", MatchCase:=True Next feuil End Sub "
- défusionner les cellules concernées avec MergCells = False - OK
Code:

1 2 3 4 5 6 Public Sub UnMerge() Dim feuil As Worksheet For Each feuil In ThisWorkbook.Worksheets feuil.Cells.UnMerge Next feuil End Sub
- puis enfin utiliser une fonction de type split pour insérer une ligne en dessous des repères "//" et y coller le paragraphe identifié - KO

Une suggestion de rédaction pour cette dernière fonction ? (plage = colonne B -> dernière ligne)

Merci !

1 pièce(s) jointe(s)

autre approche

Sur un autre fil, une approche ciblant directement les "retours chariots" semble intéressante, et fonctionnelle!

voici mon adaptation:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
Sub TestSpliterLesCellulesAvecRetourChariot()
 
    SpliterLesCellulesAvecRetourChariot Sheets("Source"), Sheets("Cible")
 
End Sub
 
Sub SpliterLesCellulesAvecRetourChariot(ByVal FeuilleSource As Worksheet, ByVal FeuilleCible As Worksheet)
 
Dim RetoursChariots As Variant
Dim I As Long, J As Long, K As Long
Dim PremiereLigneSource As Long, DerniereLigneSource As Long
Dim LigneCible As Long
 
    With FeuilleCible
         LigneCible = .Cells(.Rows.Count, 1).End(xlUp).Row + 1
    End With
 
    With FeuilleSource
         PremiereLigneSource = 1
         DerniereLigneSource = .Cells(.Rows.Count, 1).End(xlUp).Row
         PremiereColonneSource = 1
         DerniereColonneSource = 3
 
         For I = PremiereLigneSource To DerniereLigneSource
         For K = PremiereColonneSource To DerniereColonneSource
             RetoursChariots = Split(.Cells(I, K), Chr(10))
             If UBound(RetoursChariots) > 0 Then
                For J = LBound(RetoursChariots) To UBound(RetoursChariots)
                    With FeuilleCible
                         FeuilleCible.Cells(LigneCible, K) = Trim(RetoursChariots(J))
                         LigneCible = LigneCible + 1
                    End With
                Next J
             Else
                FeuilleCible.Cells(LigneCible, K) = Trim(.Cells(I, K))
                LigneCible = LigneCible + 1
             End If
             Next K
          Next I
   End With
End Sub

Du coup, je récupère bien les données en lignes "défusionnées", mais l'alignement est corrompu: à chaque colonne les cellules sont décalées d'un ligne! Une suggestion de correction?

fichier test:

Pièce jointe 481266

19/06/2019, 13h51
IronHeavy

1 pièce(s) jointe(s)

Rebonjour,

Ci dessous une Fiche de Donnée Sécurité type (white spirit comme exemple)

Pièce jointe 484820

Serait il possible de tester le rendu avec l'utilitaire mentionné au dessus par PatrickToulon?

L'objectif est de réaliser un inventaire des produits chimiques en entreprises, certains site disposent de plusieurs centaines de FDS comportant chacune 16 rubriques normalisées... J'espère pouvoir extraire les informations pertinentes dans le but de créer un inventaire exploitable!

Merci!
24/07/2019, 17h38
El-Macho59

Bonjour IronHeavy,

Je me permets de déterrer un peu ce sujet pour savoir si tu avais réussi à t'en sortir vis-à-vis de ta problématique de conversion PDF vers EXCEL ?

Etant confronté à cette situation, je suis en pleine phase de recherche de solution

Merci d'avance ! :)