Discussion :

[IronHeavy]

Bonjour à tous !

Dans l'optique de créer un outil de veille réglementaire assistée, je démarre mes recherches d'applications suivantes depuis excel:

- ouvrir une page de site institutionnel fixe sur internet - OK
- pointer un lien hypertexte variable (évolue à chaque mise à jour, dénomination variable donc) - OK
- télécharger le PDF de la nouvelle version réglementaire - OK
- extraction texte et tableaux vers mon fichier excel
- tri des chapitre par onglets OU fusion des onglets
- mise en forme

Voilà pour la première phase ! Mes premières recherches m'ont amené à des bribes de code pas forcément compatibles entre elles voire non fonctionnelles...

Quelques pistes/lectures à me recommander?

Merci d'avance!

[patricktoulon]

re
bonjour
a tu un lien pour voir si cette page web n'a pas de protection anti robot (vba par exemple) qui empêcherait bien évidement de continuer sur un chemin qui n'a pas de fin

[IronHeavy]

Bonjour Patrick,

Ci dessous le lien complet :

https://aida.ineris.fr/liste_documents/1/18023/1

Je souhaite à atteindre le dernier lien de la page "Consulter la nomenclature au format pdf (Version 47 - avril 2019)" - c'est ce lien qui est modifié à chaque MAJ de cette réglementation..

Je te remercie pour ton temps!

[patricktoulon]

je dirais que tu n'a pas besoins de naviguer la page que donne le lien d'en bas C'EST!!!!!! LE PDF!!!!!!!!!!!!!

tu la pas vu le ".pdf" a la fn de l'url?????

https://aida.ineris.fr/sites/default..._v47public.pdf

conclusion

une requête et adobstream est basta

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Sub test()
Dim chemin As String
chemin = Environ("userprofile") & "\DeskTop\monpdf.pdf"
telechargeFichierPdf "https://aida.ineris.fr/sites/default/files/gesdoc/30296/BrochureNom_v47public.pdf", chemin
End Sub
 
Sub telechargeFichierPdf(url As String, chemin As String)
    Dim ReQ As Object, oStream As Object
      'On Error Resume Next    'On ne gère pas les erreurs
    Set ReQ = CreateObject("Microsoft.XMLHTTP")
    ReQ.Open "get", url, False
    ReQ.send
    Set oStream = CreateObject("ADODB.Stream")
    oStream.Open
    oStream.Type = 1
    oStream.Write ReQ.responsebody
   oStream.SaveToFile chemin
    oStream.Close
End Sub

terminéé ton pdf est sur ton bureau

[IronHeavy]

J'ai bien vu qu'on arrive sur un PDF, mais le mois prochain il risque de ne plus s'appeler "BrochureNom_v47public.pdf" mais "BrochureNom_48public.pdf" si j'ai de la chance!

Le chemin peut aussi changer! de "gesdoc/30296" à "gesdoc/juin2019" par exemple...

En revanche, trouver un moyen de "cliquer virutellement" sur le lien "Consulter la nomenclature au format pdf (Version 47 - avril 2019)" quelque soit son nom pour ouvrir la dernière version du pdf est tout l'enjeu.

[patricktoulon]

ok et ben qué bis répetita
je navigue toujours dans ie
je transforme la requete en double requête
et voila ca récupère le dernier lien document

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
Sub test()
Dim chemin As String
Dim linck$
chemin = Environ("userprofile") & "\DeskTop\monpdf.pdf"
telechargeFichier "https://aida.ineris.fr/liste_documents/1/18023/1", , linck
MsgBox "le dernier lien document de la page est " & vbCrLf & linck
If linck <> "" Then telechargeFichier "https://aida.ineris.fr/sites/default/files/gesdoc/30296/BrochureNom_v47public.pdf", chemin
End Sub
 
Sub telechargeFichier(url As String, Optional chemin As String = "", Optional linck)
    Dim ReQ As Object, oStream As Object
      'On Error Resume Next    'On ne gère pas les erreurs
    Set ReQ = CreateObject("Microsoft.XMLHTTP")
    ReQ.Open "get", url, False
    ReQ.send
  If chemin = "" Then
    With CreateObject("htmlfile")
    .body.innerhtml = ReQ.responsetext
    For Each elem In .all
    If elem.classname = "lien-document" Then linck = Replace(elem.ChildNodes(0).href, "about", "https://aida.ineris.fr") ': MsgBox linck
    Next
    End With
   Else
    If Dir(chemin) <> "" Then Kill chemin
      Set oStream = CreateObject("ADODB.Stream")
    oStream.Open
    oStream.Type = 1
    oStream.Write ReQ.responsebody
   oStream.SaveToFile chemin
    oStream.Close
End If
End Sub

autant pour moi correction

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
Sub test()
Dim chemin As String
Dim linck$
chemin = Environ("userprofile") & "\DeskTop\monpdf.pdf"
telechargeFichier "https://aida.ineris.fr/liste_documents/1/18023/1", , linck
MsgBox "le dernier lien document de la page est " & vbCrLf & linck
If linck <> "" Then telechargeFichier linck, chemin
End Sub
 
Sub telechargeFichier(url As String, Optional chemin As String = "", Optional linck)
    Dim ReQ As Object, oStream As Object
      'On Error Resume Next    'On ne gère pas les erreurs
    Set ReQ = CreateObject("Microsoft.XMLHTTP")
    ReQ.Open "get", url, False
    ReQ.send
  If chemin = "" Then
    With CreateObject("htmlfile")
    .body.innerhtml = ReQ.responsetext
    For Each elem In .all
    If elem.classname = "lien-document" Then linck = Replace(elem.ChildNodes(0).href, "about:", "https://aida.ineris.fr") ': MsgBox linck
    Next
    End With
   Else
    If Dir(chemin) <> "" Then Kill chemin
      Set oStream = CreateObject("ADODB.Stream")
    oStream.Open
    oStream.Type = 1
    oStream.Write ReQ.responsebody
   oStream.SaveToFile chemin
    oStream.Close
End If
End Sub

[IronHeavy]

Merci Patrick !

Cela fonctionne parfaitement... si j'ai compris ton cheminement:
- pointer le dernier lien hypertexte de la page ie
- vérifier si un fichier "monpdf" existe déjà sur le bureau
- télécharger le pdf du lien

En revanche, si changement de l'architecture su site, je veillerai bien à adapter ton code. Tu as prévu ce cas de figure en remontant le nom du lien pointé, astucieux!

Je pense agrémenter ce code en ajoutant la date de téléchargement + suppression du document précédent au nom du fichier de manière à avoir toujours un document le plus à jour possible!

[IronHeavy]

2ème phase : transformer ce pdf en excel exploitable.. sans adobe pro!

je n'aurais probablement pas le financement pour recourir à une solution payante...

Mes différents tests freeware à online m'ont apporté de tout en terme de résultats:

- horribles (ni tableaux ni caractères reconnus)
- inexloitables ( caractères non respectés ou tableaux fusionnés)
- pas mal "mais" (tableaux et caractères reconnus, mais lignes ou cellules fusionnées de travers)
- parfait (tableaux nickels et exploitables mais 1 ou 2 pages en mode démo seulement! sur 85...)

Je pense qu'il existe un moyen en recourant au VBA... mais je n'ai rien trouvé qui fonctionne jusqu'à présent!

[Pierre Fauconnier]

Salut.

Il est préférable de ne traiter qu'un sujet par discussion. Je t'invite donc à créer un nouveau sujet pour le traitement du pdf.

Cela étant, tu vas galérer si tu ne connais pas pile poil la structure d'un fichier pdf. De plus, des structures pdf différentes peuvent donner un résultat visuel identique. Ainsi, un simple tableau excel de quelques lignes génère un fichier de 65Kb si tu le génère avec Enregistrer Sous d'Excel et de seulement 24Kb si tu le génères avec une imprimante PDF Architect, par exemple. La comparaison des deux fichiers met en évidence des différences importantes entre les deux structures.

[IronHeavy]

Bonjour Pierre,

Entendu, j'ouvre un nouveau post! Je note tes observations.

Merci!

[patricktoulon]

Merci Patrick !

Cela fonctionne parfaitement... si j'ai compris ton cheminement:
- pointer le dernier lien hypertexte de la page ie
- vérifier si un fichier "monpdf" existe déjà sur le bureau
- télécharger le pdf du lien

En revanche, si changement de l'architecture su site, je veillerai bien à adapter ton code. Tu as prévu ce cas de figure en remontant le nom du lien pointé, astucieux!

Je pense agrémenter ce code en ajoutant la date de téléchargement + suppression du document précédent au nom du fichier de manière à avoir toujours un document le plus à jour possible!

re
la voila avec les commentaires d'explication

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
 
Sub test()
    Dim chemin As String    'variable string pour la destination du fichier
    Dim linck$    'variable string pour recevoir le texte de l'url du fichier a telecharger
    chemin = Environ("userprofile") & "\DeskTop\monpdf.pdf"    'on détermine le chemin
'ici on envoie a la fonction l'url de la page d'acceuil et la variable "linck"(linck est vide tres important!!!! ) MAIS !!  on envoie pas chemin
    telechargeFichier "https://aida.ineris.fr/liste_documents/1/18023/1", , linck
    ' linck  a été renseigné dans la fonction ( c'est une sorte de CALLBACK)
    MsgBox "le dernier lien document de la page est " & vbCrLf & linck
    'si linck a été renseigné on renvoie un apel avec la meme fonction avec linck est chemin (tout deux sont renseignés)
    'la fonction  va donc  telecharger le fichiersans passer par la page d'acceuil de ton site AIDA
    'je met quand meme une condition sur linck <> de vide  ca gere l'erreur  et si il est vide tu le msgbox
    If linck <> "" Then telechargeFichier linck, chemin Else MsgBox "le lien n'a pas été trouvé verifier le code source"
End Sub
Sub telechargeFichier(url As String, Optional chemin As String = "", Optional linck)
    Dim ReQ As Object, oStream As Object
    'On Error Resume Next    'On ne gère pas les erreurs
    Set ReQ = CreateObject("Microsoft.XMLHTTP")    'on créé l'object pour faire la requete
    ReQ.Open "get", url, False    'on ouvre  la requete
    ReQ.send    'on envoie
    '!!!!!! C EST MAINTENANT CI DESSOUS  QUE CA SE JOUE
    If chemin = "" Then    ' si on a pas appelé avec chemin ou chemin est videc'est qu'on veut aller scruter la page d'acceuil
        With CreateObject("htmlfile")    'on créé alors un document html en memoire
            .body.innerhtml = ReQ.responsetext    ' et on lui met le RESPONSETEXT de la requete ((qui correspond au code source de la page d'acceuil))
            'et on l'annalyse comme si on etait dans le document de la page dans IE
            'ici on va donc boucler pour recuperer le href des balise "A" qui sont les childnodes(0) elements de class"lien-document"
            'a chaque trouvé linck recoit l'url(href)
            'ET!!!!comme on est dans un (((!!!htmldocument en memoire!!!)))) la racine des liens"href" n'est pas mise a jour et donc remplacé par "about:"
            For Each elem In .all
                If elem.classname = "lien-document" Then linck = Replace(elem.ChildNodes(0).href, "about:", "https://aida.ineris.fr")    ': MsgBox linck
            Next
            'a ce niveau de la fonction  ici on a maintenant le derner href et donc l'url du fichier
        End With
        'la fonction ne fait plus rien a partir d'ici si chemin etait vide
    Else
        'si chemin n'est pas vide
        'on kill donc l'ancienne version du fichier
        If Dir(chemin) <> "" Then Kill chemin
        'et on créé le nouveau avec adobstream AVEC CETTE FOIS CI LE RESPONSEBODY DE LA REQUETE  car l'url injectée  n'est pas une page web mais bel et bien le lien d'un fichier
        Set oStream = CreateObject("ADODB.Stream")
        oStream.Open
        oStream.Type = 1
        oStream.Write ReQ.responsebody
        oStream.SaveToFile chemin
        oStream.Close
    End If
End Sub

et oui si demain l'architecture de la page d'accueil ou le nom de class des element changent , il te faudra modifier le scrute (for each... in .all)


si je voudrais la rendre plus générique que cela
je séparerais le scrute dans une autre fonction et seule alors cette 3 eme fonction serait a modifier
ca peut se faire si tu veux

[patricktoulon]

re

2ème phase : transformer ce pdf en excel exploitable.. sans adobe pro!

je pourrais te donner une astuce de mon cru qui me permet de récupérer les pages d'un pdf dans le même format quasiment avec adobe reader basique de 9.xx a 11
mais comme dit Pierre se sera dans un autre post

[Pierre Fauconnier]

re

je pourrais te donner une astuce de mon cru qui me permet de récupérer les pages d'un pdf dans le même format quasiment avec adobe reader basique de 9.xx a 11
mais comme dit Pierre se sera dans un autre post

Je t'en prie, la discussion est là: https://www.developpez.net/forums/d1...l-exploitable/

Très impatient de voir ton astuce

[patricktoulon]

bonjour pierre
demo en image dans son autre discussion

[IronHeavy]

re

si je voudrais la rendre plus générique que cela
je séparerais le scrute dans une autre fonction et seule alors cette 3 eme fonction serait a modifier
ca peut se faire si tu veux

Avec plaisir ! Pour finaliser cette partie de manière optimale ...

[IronHeavy]

Bonjour,

Les premières avancées sur mon projet de veille réglementaire me laissent augurer d'une faisabilité probable (reste à régler le souci de l'extraction pdf vers excel...)

Je compte étendre le fonctionnement de mon outil à d'autres réglementations que celle des Installations Classées pour la Protection de l'Environnement:

- REACH
- CLP

puis dans un second volet
- SEVESO
- ROHS

Pour les règlement REACH et CLP, la source n'est plus AIDA INERIS mais ECHA...

En revanche, les nomenclatures proposées sont directement disponibles en XLS ! Je souhaiterais donc adapter le code proposé par Patrick à mes utilisations futures

Par exemple pour la liste des substances REACH:

https://echa.europa.eu/fr/informatio...red-substances

j'ai localisé l'adresse de la commande d'export XLS:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<button class="btn exportBTN" id="_dissregisteredsubstances_WAR_dissregsubsportlet_exportButtonXLS" onclick="_dissregisteredsubstances_WAR_dissregsubsportlet_exportData('xls');" type="button"> XLS </button>

Quels infos dois-je conserver pour lancer le téléchargement?

Merci.

[patricktoulon]

re
bonsoir
je vois que tu n'a pas compris le principe
est ce que ce lien te donne le téléchargement ou un blob(bandeau de téléchargement en bas de la fenêtre )
si c'est un bandeau ca ne sera pas possible

d'ailleurs ce lien
"_dissregisteredsubstances_WAR_dissregsubsportlet_exportData('xls');"

renvoie a une fonction JS qui créé le "xls" donc walouh !!!!

[Pierre Fauconnier]

[...]
d'ailleurs ce lien
"_dissregisteredsubstances_WAR_dissregsubsportlet_exportData('xls');"

renvoie a une fonction JS qui créé le "xls" donc walouh !!!!

Hum...

[Pierre Fauconnier]

[...]

https://echa.europa.eu/fr/informatio...red-substances

j'ai localisé l'adresse de la commande d'export XLS:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<button class="btn exportBTN" id="_dissregisteredsubstances_WAR_dissregsubsportlet_exportButtonXLS" onclick="_dissregisteredsubstances_WAR_dissregsubsportlet_exportData('xls');" type="button"> XLS </button>

Quels infos dois-je conserver pour lancer le téléchargement?

Merci.

Perso, je me contenterais d'aller chercher le fichier régulièrement (ça fait partie du travail de veille légale) et je mettrais mon fichier Excel à jour sur base du fichier Excel récupéré. J'ai téléchargé le fichier du lien et ça a l'air techniquement propre. Sur le plan des données métier à exploiter, j'ai un doute, par contre (anglais, latine)... Ils font exprès de rendre ça à peu près inintelligible? Perso, je pense que oui