Version imprimable
Bonjour
Je travaille actuellement sur un stage ou je vais avoir besoin de migrer des données sous format Word ou Excel ou PDF dans une nouvelle base de données PostgreSQL
est ce qu'il y a un manière de le faire automatiquement sans être obligé de taper sur clavier ? par ce que j'ai un très grand volume de données ?
??
Merci de votre réponse ;)
Merci pour la réponse
Oui j'ai quelques fichiers en format Excel , et je peux les enregistrer sous format csv.
Par contre, comment je vais transformer les données qui existent sous format pdf ou word ? Il n'y a pas d'outils pour faire ça ?
Vous trouverez un exemple de ces fichiers pdf ci-joint avec ce message :calim2:
Oui, ce sont des données sur îlots.
Le plus important, c'est de récupérer pour chaque îlot : nom, id, cordonnées, surface, description, statut foncier ... et éventuellement des figures.
Comment je peux extraire ces données et les migrer automatiquement dans la base PostgreSQL ? :weird:
Automatique: je ne sais pas. Mais si tu cherches déjà à extraire les données, puis ensuite, les traiter avec un script (regex ou autre) qui va bien à partir des résultats suivants:Citation:
Envoyé par chcheibani
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
pour les images (un traitement pour les couleurs s'impose)
Alors, tu peux peut-être utiliser pdftohtml sous linux.
Cancale<br/> CÔTE*D’ÉMERAUDE<br/> 35<br/> Coordonnées géographiques :<br/> 1-Roche Herpin<br/> X:344874 - Y:6857617<br/> Îlot se présentant sous la forme d’une dorsale lithique structurée*<br/> en gradin, orientée N-S et se prolongeant, au N, par une succession*<br/> PROTECTIONS*<br/> d’écueils. La crête rocheuse délimite deux versants : la partie*W,*<br/> RÉGLEMENTAIRES ET<br/> fortement exposée aux vent, houle et courant, est dominée par*<br/> CONTRACTUELLES-INVENTAIRES<br/> la roche supra-littorale et par une végétation des fi*ssures prenant*<br/> • **Zone Spéciale de Conservation au titre*<br/> un caractère dégradé. Le côté E, plus abrité, a accumulé un sol*<br/> de la directive Habitats de Natura 2000<br/> composé principalement de fi*entes d’oiseaux marins décomposées.*<br/> • *Zone de Protection Spéciale de*<br/> Il abrite une pelouse dégradée par les surmulots, elle prend un*<br/> Conservation au titre de la directive*<br/> Oiseaux de Natura 2000<br/> caractère nitrophile (arroche hastée, lavatère arborescente) du*fait*<br/> de l’enrichissement du milieu par les oiseaux marins.*<br/> • ZICO*<br/>• Réserve de chasse maritime<br/> STATUT FONCIER<br/> <i>I*N*V*E*R*T*É*B*R*É*S****</i><br/> • État -Conservatoire du littoral<br/> <b>Odonates<br/></b><i>Coenagrion puella</i><br/> GÉOMORPHOLOGIE<i>*- Prospecté</i><br/> <b>Lépidoptères rhopalocères<br/></b><i>Hipparchia semele</i><br/> HABITATS*<br/> <i>Pararge aegeria</i><br/> <b>Habitats N2000</b><br/> <i>Vanessa atalanta</i><br/> • *1170-1 : roche supra-littorale à lichen<br/> <b>Lépidoptères hétérocères</b><br/> • *1230-1 : végétation des fi*ssures*<br/> <i>Euplagia quadripunctata</i><br/> de rochers*<br/> <b>Diptères</b><br/> • *1230-3 : pelouse aérohaline*<br/> <i>Helophilus pendulus</i><br/> des falaises cristallines*<br/> <i>Syrphus ribesii</i><br/> • *1430-2 : végétation halo-nitrophile*<br/> <b>Hyménoptères</b><br/> <i>*Surface îlot : 1 500 m2</i><br/> des colonies d’oiseaux marins<br/> <i>Amblyteles armatorius</i><br/> <i>A*V*I*FA*U*N*E*<br/>(Source : Bretagne Vivante, 2008)</i><br/> ARCHÉOLOGIE-HISTOIRE<i>*- *Prosp*ecté</i>*<br/> <i>F*LO*R*E***V*A*S*C*U*L*A*I*R*E</i><br/> <i>De 1997 à 2007, 3 espèces d’oiseaux*</i><br/> <i>Armeria maritima ssp. maritima*marins nichent sur le site :*</i><br/> INFRASTRUCTURES<i>**- *Prosp*ecté*</i><br/> <i>Atriplex prostrata*</i><br/> <i>Cormoran huppé (8 couples en 1997)</i><br/> <i>Beta vulgaris ssp. maritima*</i><br/> <i>Goéland argenté (7 couples en 1997)</i><br/> <i>Catapodium marinum*</i><br/> ACTIVITÉS ET USAGES HUMAINS<br/> <i>Goéland marin (3 couples en 1997)</i><br/> <i>Chenopodium album*</i><br/> • *Aucun indice d’usage humain n’a*<br/> <i>Huîtrier pie (1-2 couples en 2008)</i><br/> <i>Chenopodium murale*</i><br/> été détecté sur ce site diffi*cilement*<br/> <i>Pipit maritime (1 couple en 2008)</i><br/> <i>Cochlearia danica*</i><br/> accessible du fait de son exposition*<br/> aux courant, vent et houle.*<br/> <i>Lavatera arborea*</i><br/> <i>M*A*M*M*I*F*È*R*E*S</i><br/> Par contre, les abords directs de l’îlot*<br/> <i>Lythrum portula*</i><br/> <i>Rat surmulot (nombreux crottiers, terriers)</i><br/> font l’objet d’une fréquentation*<br/> <i>Matricaria maritima ssp.*</i><br/> <i>Nid de pipit maritime</i><br/> nautique (plaisance, pêche à la ligne,*<br/> <i>maritima</i><br/> pose de casiers à crustacés)<br/> <i>Poa annua*<br/>Polygonum aviculare ssp.*</i><br/> INTÉRÊTS–MENACES<br/> <i>aviculare</i><br/> • *Intérêt pour la nidifi*cation de l’avifaune<br/> <i>Portulaca oleracea ssp. oleracea</i><br/> • *Présence du surmulot, mammifère*<br/> <i>Senecio vulgaris*</i><br/> allochtone ayant un impact sur*<br/> <i>Solanum nigrum*</i><br/> la faune autochtone et sur la*<br/> <i>Sonchus oleraceus*</i><br/> conservation des habitats<br/> <i>Spergularia rupicola*</i><br/> • *Dégradation des habitats littoraux*<br/> <i>Stellaria media ssp. media</i><br/> originels du fait de l’action conjuguée*<br/> <i>Urtica urens*</i><br/> des mammifères et des oiseaux marins*<br/> <i>Vue générale de l’îlot</i><br/> 46<br/>
si j'arrive à transformer ces pdf dans un format html , comment je vais le faire entrer dans la base de données ?
est ce que je peux utiliser des outils comme
ETL pour ça ?? :weird:
en créant des moulinettes pour isoler les zones de textes intéressantes et ensuite, insérer ces dernières dans la base. Il faut pour cela que les documents en pdf aient quasiment la même mise en page. Par exemple: repérer la séquence:
via une regex, un filtre, etc..Code:STATUT FONCIER<br/>
et ensuite de voir si sur tous les mises en page des pdf donnent la réponse deux lignes en dessous, ou alors, à partir de
lire le documents et isoler la ligne en repérant des mots clés (ici FONCIER par exemple).Code:STATUT FONCIER<br/>
Avec un document, on ne peut pas trouver simplement les critères. Il faut faire la manip sur plusieurs fichiers pdf pour repérer les points communs qui serviront de base pour écrire la moulinette.
Si j'ai bien compris , il faut tout d'abord transformer tous les pdf que j'ai en format html, sachant qu'il y en a une centaine ? :weird: (il y a un outil pour ça , ou je traite chaque pdf tout seul ?)
Après, je n'ai rien compris :calim2::weird:
Je suis nouveau sur ce domaine.
Salut
Nous ne pouvons pas te donner de baguette magique!Citation:
Envoyé par chcheibani
Vu la taille du document (100 pdf) et vu les informations demandées...si tu avais commencer manuellement, le travail n'aura pas pris plus de temps que la discussion.Citation:
Envoyé par chcheibani
@+
Peut-être que vous m'avez mal compris Alassane Diakité
Je n'attends pas de baguette magique, mais je voulais juste avoir une idée générale sur les outils à utiliser dans ce domaine.
Après, je m'en occupe.
Donc pas de baguette magique.
Merci en tout cas pour vos conseils.
Bonjour,
Cette question ne relève plus vraiment d'un forum sur PostgreSQL... Elle se résume plutôt à "comment extraire des données d'un fichier PDF ?".
Vous aurez peut-être plus de chance en la posant sur le forum suivant : http://www.developpez.net/forums/f18...res-logiciels/