Migration de données dans PostgreSQL

**chcheibani** · 11/04/2014, 12h10

Bonjour
Je travaille actuellement sur un stage ou je vais avoir besoin de migrer des données sous format Word ou Excel ou PDF dans une nouvelle base de données PostgreSQL
est ce qu'il y a un manière de le faire automatiquement sans être obligé de taper sur clavier ? par ce que j'ai un très grand volume de données ?
??

Merci de votre réponse

**alassanediakite** · 11/04/2014, 12h33

Salut
Si vous pouvez enregistrer le fichier Excel au format csv, alors vous pouvez utiliser file_fdw ou COPY.
@+

**chcheibani** · 11/04/2014, 14h30

Merci pour la réponse

Oui j'ai quelques fichiers en format Excel , et je peux les enregistrer sous format csv.

Par contre, comment je vais transformer les données qui existent sous format pdf ou word ? Il n'y a pas d'outils pour faire ça ?
Vous trouverez un exemple de ces fichiers pdf ci-joint avec ce message

**alassanediakite** · 11/04/2014, 16h36

Salut
Les données du pdf font appel au SIG particulièrement avec PostGIS.
Le travail n'est pas aussi simple que ça!
@+

**chcheibani** · 11/04/2014, 17h53

Oui, ce sont des données sur îlots.
Le plus important, c'est de récupérer pour chaque îlot : nom, id, cordonnées, surface, description, statut foncier ... et éventuellement des figures.

Comment je peux extraire ces données et les migrer automatiquement dans la base PostgreSQL ?

**plawyx** · 11/04/2014, 21h53

Envoyé par chcheibani

Oui, ce sont des données sur îlots.
Le plus important, c'est de récupérer pour chaque îlot : nom, id, cordonnées, surface, description, statut foncier ... et éventuellement des figures.

Comment je peux extraire ces données et les migrer automatiquement dans la base PostgreSQL ?

Automatique: je ne sais pas. Mais si tu cherches déjà à extraire les données, puis ensuite, les traiter avec un script (regex ou autre) qui va bien à partir des résultats suivants:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
 
 
Cancale<br/>
CÔTE*D’ÉMERAUDE<br/>
35<br/>
Coordonnées géographiques :<br/>
1-Roche Herpin<br/>
X:344874 - Y:6857617<br/>
Îlot se présentant sous la forme d’une dorsale lithique structurée*<br/>
en gradin, orientée N-S et se prolongeant, au N, par une succession*<br/>
PROTECTIONS*<br/>
d’écueils. La crête rocheuse délimite deux versants : la partie*W,*<br/>
RÉGLEMENTAIRES ET<br/>
fortement exposée aux vent, houle et courant, est dominée par*<br/>
CONTRACTUELLES-INVENTAIRES<br/>
la roche supra-littorale et par une végétation des ﬁ*ssures prenant*<br/>
• **Zone Spéciale de Conservation au titre*<br/>
un caractère dégradé. Le côté E, plus abrité, a accumulé un sol*<br/>
de la directive Habitats de Natura 2000<br/>
composé principalement de ﬁ*entes d’oiseaux marins décomposées.*<br/>
• *Zone de Protection Spéciale de*<br/>
Il abrite une pelouse dégradée par les surmulots, elle prend un*<br/>
Conservation au titre de la directive*<br/>
Oiseaux de Natura 2000<br/>
caractère nitrophile (arroche hastée, lavatère arborescente) du*fait*<br/>
de l’enrichissement du milieu par les oiseaux marins.*<br/>
• ZICO*<br/>• Réserve de chasse maritime<br/>
STATUT FONCIER<br/>
<i>I*N*V*E*R*T*É*B*R*É*S****</i><br/>
• État -Conservatoire du littoral<br/>
<b>Odonates<br/></b><i>Coenagrion puella</i><br/>
GÉOMORPHOLOGIE<i>*- Prospecté</i><br/>
<b>Lépidoptères rhopalocères<br/></b><i>Hipparchia semele</i><br/>
HABITATS*<br/>
<i>Pararge aegeria</i><br/>
<b>Habitats N2000</b><br/>
<i>Vanessa atalanta</i><br/>
• *1170-1 : roche supra-littorale à lichen<br/>
<b>Lépidoptères hétérocères</b><br/>
• *1230-1 : végétation des ﬁ*ssures*<br/>
<i>Euplagia quadripunctata</i><br/>
de rochers*<br/>
<b>Diptères</b><br/>
• *1230-3 : pelouse aérohaline*<br/>
<i>Helophilus pendulus</i><br/>
des falaises cristallines*<br/>
<i>Syrphus ribesii</i><br/>
• *1430-2 : végétation halo-nitrophile*<br/>
<b>Hyménoptères</b><br/>
<i>*Surface îlot : 1 500 m2</i><br/>
des colonies d’oiseaux marins<br/>
<i>Amblyteles armatorius</i><br/>
<i>A*V*I*FA*U*N*E*<br/>(Source : Bretagne Vivante, 2008)</i><br/>
ARCHÉOLOGIE-HISTOIRE<i>*- *Prosp*ecté</i>*<br/>
<i>F*LO*R*E***V*A*S*C*U*L*A*I*R*E</i><br/>
<i>De 1997 à 2007, 3 espèces d’oiseaux*</i><br/>
<i>Armeria maritima ssp. maritima*marins nichent sur le site :*</i><br/>
INFRASTRUCTURES<i>**- *Prosp*ecté*</i><br/>
<i>Atriplex prostrata*</i><br/>
<i>Cormoran huppé (8 couples en 1997)</i><br/>
<i>Beta vulgaris ssp. maritima*</i><br/>
<i>Goéland argenté (7 couples en 1997)</i><br/>
<i>Catapodium marinum*</i><br/>
ACTIVITÉS ET USAGES HUMAINS<br/>
<i>Goéland marin (3 couples en 1997)</i><br/>
<i>Chenopodium album*</i><br/>
• *Aucun indice d’usage humain n’a*<br/>
<i>Huîtrier pie (1-2 couples en 2008)</i><br/>
<i>Chenopodium murale*</i><br/>
été détecté sur ce site difﬁ*cilement*<br/>
<i>Pipit maritime (1 couple en 2008)</i><br/>
<i>Cochlearia danica*</i><br/>
accessible du fait de son exposition*<br/>
aux courant, vent et houle.*<br/>
<i>Lavatera arborea*</i><br/>
<i>M*A*M*M*I*F*È*R*E*S</i><br/>
Par contre, les abords directs de l’îlot*<br/>
<i>Lythrum portula*</i><br/>
<i>Rat surmulot (nombreux crottiers, terriers)</i><br/>
font l’objet d’une fréquentation*<br/>
<i>Matricaria maritima ssp.*</i><br/>
<i>Nid de pipit maritime</i><br/>
nautique (plaisance, pêche à la ligne,*<br/>
<i>maritima</i><br/>
pose de casiers à crustacés)<br/>
<i>Poa annua*<br/>Polygonum aviculare ssp.*</i><br/>
INTÉRÊTS–MENACES<br/>
<i>aviculare</i><br/>
• *Intérêt pour la nidiﬁ*cation de l’avifaune<br/>
<i>Portulaca oleracea ssp. oleracea</i><br/>
• *Présence du surmulot, mammifère*<br/>
<i>Senecio vulgaris*</i><br/>
allochtone ayant un impact sur*<br/>
<i>Solanum nigrum*</i><br/>
la faune autochtone et sur la*<br/>
<i>Sonchus oleraceus*</i><br/>
conservation des habitats<br/>
<i>Spergularia rupicola*</i><br/>
• *Dégradation des habitats littoraux*<br/>
<i>Stellaria media ssp. media</i><br/>
originels du fait de l’action conjuguée*<br/>
<i>Urtica urens*</i><br/>
des mammifères et des oiseaux marins*<br/>
<i>Vue générale de l’îlot</i><br/>
46<br/>

pour les images (un traitement pour les couleurs s'impose)

Alors, tu peux peut-être utiliser pdftohtml sous linux.

**chcheibani** · 14/04/2014, 09h11

Cancale<br/>
CÔTE*D’ÉMERAUDE<br/>
35<br/>
Coordonnées géographiques :<br/>
1-Roche Herpin<br/>
X:344874 - Y:6857617<br/>
Îlot se présentant sous la forme d’une dorsale lithique structurée*<br/>
en gradin, orientée N-S et se prolongeant, au N, par une succession*<br/>
PROTECTIONS*<br/>
d’écueils. La crête rocheuse délimite deux versants : la partie*W,*<br/>
RÉGLEMENTAIRES ET<br/>
fortement exposée aux vent, houle et courant, est dominée par*<br/>
CONTRACTUELLES-INVENTAIRES<br/>
la roche supra-littorale et par une végétation des ﬁ*ssures prenant*<br/>
• **Zone Spéciale de Conservation au titre*<br/>
un caractère dégradé. Le côté E, plus abrité, a accumulé un sol*<br/>
de la directive Habitats de Natura 2000<br/>
composé principalement de ﬁ*entes d’oiseaux marins décomposées.*<br/>
• *Zone de Protection Spéciale de*<br/>
Il abrite une pelouse dégradée par les surmulots, elle prend un*<br/>
Conservation au titre de la directive*<br/>
Oiseaux de Natura 2000<br/>
caractère nitrophile (arroche hastée, lavatère arborescente) du*fait*<br/>
de l’enrichissement du milieu par les oiseaux marins.*<br/>
• ZICO*<br/>• Réserve de chasse maritime<br/>
STATUT FONCIER<br/>
<i>I*N*V*E*R*T*É*B*R*É*S****</i><br/>
• État -Conservatoire du littoral<br/>
<b>Odonates<br/></b><i>Coenagrion puella</i><br/>
GÉOMORPHOLOGIE<i>*- Prospecté</i><br/>
<b>Lépidoptères rhopalocères<br/></b><i>Hipparchia semele</i><br/>
HABITATS*<br/>
<i>Pararge aegeria</i><br/>
<b>Habitats N2000</b><br/>
<i>Vanessa atalanta</i><br/>
• *1170-1 : roche supra-littorale à lichen<br/>
<b>Lépidoptères hétérocères</b><br/>
• *1230-1 : végétation des ﬁ*ssures*<br/>
<i>Euplagia quadripunctata</i><br/>
de rochers*<br/>
<b>Diptères</b><br/>
• *1230-3 : pelouse aérohaline*<br/>
<i>Helophilus pendulus</i><br/>
des falaises cristallines*<br/>
<i>Syrphus ribesii</i><br/>
• *1430-2 : végétation halo-nitrophile*<br/>
<b>Hyménoptères</b><br/>
<i>*Surface îlot : 1 500 m2</i><br/>
des colonies d’oiseaux marins<br/>
<i>Amblyteles armatorius</i><br/>
<i>A*V*I*FA*U*N*E*<br/>(Source : Bretagne Vivante, 2008)</i><br/>
ARCHÉOLOGIE-HISTOIRE<i>*- *Prosp*ecté</i>*<br/>
<i>F*LO*R*E***V*A*S*C*U*L*A*I*R*E</i><br/>
<i>De 1997 à 2007, 3 espèces d’oiseaux*</i><br/>
<i>Armeria maritima ssp. maritima*marins nichent sur le site :*</i><br/>
INFRASTRUCTURES<i>**- *Prosp*ecté*</i><br/>
<i>Atriplex prostrata*</i><br/>
<i>Cormoran huppé (8 couples en 1997)</i><br/>
<i>Beta vulgaris ssp. maritima*</i><br/>
<i>Goéland argenté (7 couples en 1997)</i><br/>
<i>Catapodium marinum*</i><br/>
ACTIVITÉS ET USAGES HUMAINS<br/>
<i>Goéland marin (3 couples en 1997)</i><br/>
<i>Chenopodium album*</i><br/>
• *Aucun indice d’usage humain n’a*<br/>
<i>Huîtrier pie (1-2 couples en 2008)</i><br/>
<i>Chenopodium murale*</i><br/>
été détecté sur ce site difﬁ*cilement*<br/>
<i>Pipit maritime (1 couple en 2008)</i><br/>
<i>Cochlearia danica*</i><br/>
accessible du fait de son exposition*<br/>
aux courant, vent et houle.*<br/>
<i>Lavatera arborea*</i><br/>
<i>M*A*M*M*I*F*È*R*E*S</i><br/>
Par contre, les abords directs de l’îlot*<br/>
<i>Lythrum portula*</i><br/>
<i>Rat surmulot (nombreux crottiers, terriers)</i><br/>
font l’objet d’une fréquentation*<br/>
<i>Matricaria maritima ssp.*</i><br/>
<i>Nid de pipit maritime</i><br/>
nautique (plaisance, pêche à la ligne,*<br/>
<i>maritima</i><br/>
pose de casiers à crustacés)<br/>
<i>Poa annua*<br/>Polygonum aviculare ssp.*</i><br/>
INTÉRÊTS–MENACES<br/>
<i>aviculare</i><br/>
• *Intérêt pour la nidiﬁ*cation de l’avifaune<br/>
<i>Portulaca oleracea ssp. oleracea</i><br/>
• *Présence du surmulot, mammifère*<br/>
<i>Senecio vulgaris*</i><br/>
allochtone ayant un impact sur*<br/>
<i>Solanum nigrum*</i><br/>
la faune autochtone et sur la*<br/>
<i>Sonchus oleraceus*</i><br/>
conservation des habitats<br/>
<i>Spergularia rupicola*</i><br/>
• *Dégradation des habitats littoraux*<br/>
<i>Stellaria media ssp. media</i><br/>
originels du fait de l’action conjuguée*<br/>
<i>Urtica urens*</i><br/>
des mammifères et des oiseaux marins*<br/>
<i>Vue générale de l’îlot</i><br/>
46<br/>

si j'arrive à transformer ces pdf dans un format html , comment je vais le faire entrer dans la base de données ?
est ce que je peux utiliser des outils comme
ETL pour ça ??

**plawyx** · 14/04/2014, 19h09

en créant des moulinettes pour isoler les zones de textes intéressantes et ensuite, insérer ces dernières dans la base. Il faut pour cela que les documents en pdf aient quasiment la même mise en page. Par exemple: repérer la séquence:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

STATUT FONCIER<br/>

via une regex, un filtre, etc..

et ensuite de voir si sur tous les mises en page des pdf donnent la réponse deux lignes en dessous, ou alors, à partir de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

STATUT FONCIER<br/>

lire le documents et isoler la ligne en repérant des mots clés (ici FONCIER par exemple).

Avec un document, on ne peut pas trouver simplement les critères. Il faut faire la manip sur plusieurs fichiers pdf pour repérer les points communs qui serviront de base pour écrire la moulinette.

**chcheibani** · 15/04/2014, 14h42

Si j'ai bien compris , il faut tout d'abord transformer tous les pdf que j'ai en format html, sachant qu'il y en a une centaine ?

(il y a un outil pour ça , ou je traite chaque pdf tout seul ?)
Après, je n'ai rien compris

Je suis nouveau sur ce domaine.

**alassanediakite** · 16/04/2014, 15h35

Salut

Envoyé par chcheibani

Si j'ai bien compris , il faut tout d'abord transformer tous les pdf que j'ai en format html, sachant qu'il y en a une centaine ?

(il y a un outil pour ça , ou je traite chaque pdf tout seul ?)
Après, je n'ai rien compris

Je suis nouveau sur ce domaine.

Nous ne pouvons pas te donner de baguette magique!
Vu la taille du document (100 pdf) et vu les informations demandées...

Envoyé par chcheibani

Oui, ce sont des données sur îlots.
Le plus important, c'est de récupérer pour chaque îlot : nom, id, cordonnées, surface, description, statut foncier ... et éventuellement des figures.

si tu avais commencer manuellement, le travail n'aura pas pris plus de temps que la discussion.
@+

**chcheibani** · 16/04/2014, 16h10

Peut-être que vous m'avez mal compris Alassane Diakité
Je n'attends pas de baguette magique, mais je voulais juste avoir une idée générale sur les outils à utiliser dans ce domaine.
Après, je m'en occupe.
Donc pas de baguette magique.
Merci en tout cas pour vos conseils.

**ced** · 23/04/2014, 13h45

Bonjour,

Cette question ne relève plus vraiment d'un forum sur PostgreSQL... Elle se résume plutôt à "comment extraire des données d'un fichier PDF ?".
Vous aurez peut-être plus de chance en la posant sur le forum suivant : http://www.developpez.net/forums/f18...res-logiciels/

Migration de données dans PostgreSQL

Outils PostgreSQL

Discussions similaires

Partager

Partager