Parser une adresse

Version imprimable

31/07/2021, 07h27
frutz

Parser une adresse

Bonjour à tous,

Je suis à la recherche d'une librairie me permettant de parser automatiquement des adresses postales.

J'ai vu qu'il existait une librairie qui s'appelle libpostal mais je ne sais pas comment l'utiliser.

Est-ce que vous pourriez m'indiquer comment faire pour installer et utiliser cette librairie, ou si vous en connaissez une autre qui fait la même chose ?

Merci beaucoup
31/07/2021, 10h59
Sve@r
Bonjour

libpostal semble (d'après github) être une librairie pour programmes compilés (C/C++) mais mentionne pyPostal. Une rapide recherche dans un moteur de recherche à partir de cet indice m'a amené sur pyPostal mais qui date de 2010 (donc pour Python3 c'est peau d'zob)
Mais puisque cette librairie existe, je me suis dit que le sujet devait être connu. Donc j'ai bêtement tapé "python parser adresse postale" dans un moteur de recherche (chose qui me semble être faisable à ton niveau) et je suis arrivé sur address-parser qui date de 2019. Il y a des exemples d'utilisation

Pour installer tu télécharges le source (.tar.gz) que tu décompresses dans un dossier. Ensuite généralement la procédure est toujours la même
- python3 setup.py build
- python3 setup.py install
(il doit y avoir un fichier ReadMe ou un INSTALL qui l'explique).

Si tu veux installer via le réseau alors tu tapes simplement pip3 install address-parser (fonctionne aussi avec un fichier ".whl" téléchargeable si présent)
02/08/2021, 15h41
frutz
Bonjour Sve@r,

Merci beaucoup pour ta réponse.

J'ai essayé d'utiliser la librairie addresse-parser mais je crois que je n'obtiens pas le résultat souhaité.
Code:

1 2 3 4 5 6 7 8 from address_parser import Parser adr = Parser().parse('12 rue des Etoiles, 13009 Marseille') print(adr) 12 Rue Des Etoiles, Marseille 13009
J'aurais souhaité obtenir une séparation complète des champs (Numéro de voie, voie, Ville, CP...).
Ici j'ai l'impression que la séparation se fait uniquement parce qu'il y a une virgule.
02/08/2021, 15h59
wiztricks
Salut,

Citation:

Envoyé par frutz

J'aurais souhaité obtenir une séparation complète des champs (Numéro de voie, voie, Ville, CP...).

Le print(adr) affiche l'adresse complète sans découpage. Mais on peut accèder aux attributs d'adr:
Code:

1 2 >>> adr.number.number 12
ou les récupérer via adr.dict.

- W
02/08/2021, 16h09
Sve@r
Citation:

Envoyé par frutz

Ici j'ai l'impression que la séparation se fait uniquement parce qu'il y a une virgule.

Ben ça se vérifie !!!
Code:

1 2 >>> adr = Parser().parse('12 rue des Etoiles 13009 Marseille') >>> print(adr)
Ensuite tu peux regarder type(adr), help(adr), dir(adr). Par exemple avec "dir()" je vois qu'il existe une méthode "args" donc je tente print(adr.args) et là j'ai des trucs qui apparaissent. Et enfin je vois qu'il y a une homepage donc je vais voir ce qui s'y raconte. Découvrir une nouvelle lib ça ne se fait pas en 3mn (moi ça fait 1 mois que je tente de comprendre pyqtgraph)...
02/08/2021, 17h16
jurassic pork
hello,
il y a aussi le module fraddress (disponible chez Pypi) :
Code:

1 2 import fraddress print(fraddress.parse('12 rue des Etoiles, 13009 Marseille'))
donne comme résultat :

Citation:

[('12', 'AddressNumber'), ('rue', 'StreetType'), ('des', 'StreetLink'), ('Etoiles,', 'StreetName'), ('13009', 'Zipcode'), ('Marseille', 'City')]

Ami calmant, J.P
02/08/2021, 18h05
Sve@r

Citation:

Envoyé par jurassic pork

il y a aussi le module fraddress (disponible chez Pypi) :

Effectivement, à première vue il semble plus sympa que adress_parser. C'est le petit inconvénient des libairies externes, on ne sait jamais laquelle choisir....8-)
02/08/2021, 20h07
wiztricks

Salut,

Citation:

Envoyé par Sve@r

C'est le petit inconvénient des libairies externes, on ne sait jamais laquelle choisir....8-)

On définit un jeu d'adresses significatives et on regarde laquelle donne les meilleurs/résultats.

A résultats équivalents, on penchera peut être vers celle qui sera la plus simple à utiliser ou la plus performante/mature/populaire.

- W

Merci beaucoup pour toutes vos contributions.

C'est justement mon objectif d'utiliser la librairie qui me permettra d'obtenir le meilleur résultat.

J'aimerais beaucoup essayer celle qui demande d'installer la librairie C libpostal, car elle est construite sur une multitude d'adresses.

Sauf que j'ai du mal à suivre les instructions pour installer cette librairie. J'ai d'abord installer Visual studio pour avoir le langage C sur mon PC.
Ensuite j'ai installé MSYS2 et exécuté quelques commandes sans savoir ce que je fais.

Voici ce que j'obtiens à la fin de l'exécution de la commande :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 configure: WARNING: you should use --build, --host, --target configure: WARNING: you should use --build, --host, --target configure: WARNING: you should use --build, --host, --target configure: WARNING: you should use --build, --host, --target configure: WARNING: you should use --build, --host, --target configure: WARNING: you should use --build, --host, --target configure: WARNING: you should use --build, --host, --target configure: WARNING: invalid host type: space...] configure: error: expected an absolute directory name for --datadir: [...some make: *** No targets specified and no makefile found. Stop. bash: sudo: command not found
J'avais copié le code qui se trouve dans l'explication du Github :
Code:

1 2 3 4 5 6 7 git clone https://github.com/openvenues/libpostal cd libpostal ./bootstrap.sh ./configure --datadir=[...some dir with a few GB of space...] make sudo make install
Si vous pouvez m'aider à utiliser cette libraire pypostal (différente de pyPostal mentionné par Sve@r), je vous en serait très reconnaissant.

03/08/2021, 16h27
jurassic pork

hello,
pour l'option --datadir sous windows il faut mettre un chemin du style /d pour par exemple d:\

Citation:

./configure --datadir=/d

Le répertoire d'installation est alors en d:\libpostal

Ami calmant, J.P

Citation:

Envoyé par jurassic pork

hello,
pour l'option --datadir sous windows il faut mettre un chemin du style /d pour par exemple d:\

Le répertoire d'installation est alors en d:\libpostal

Ami calmant, J.P

Bonjour @jurassic pork

Effectivement je n'avais pas spécifié le répertoire de mon pc. L'installation (la librairie C libpostal) s'est bien effectuée, j'ai un dossier sur mon PC.

Par contre lorsque je tente d'installer la librairie python (pypostal)

Code:

1
2
 
pip install pypostal

J'ai ce long message d'erreur :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
 
ERROR: Command errored out with exit status 1:
     command: 'c:\python\python38\python.exe' -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-0g88jmxb\\postal_d7ac59296f7a439eaf25b4ec38237aa4\\setup.py'"'"'; __file__='"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-0g88jmxb\\postal_d7ac59296f7a439eaf25b4ec38237aa4\\setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record 'C:\Users\john\AppData\Local\Temp\pip-record-mp4adlfi\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\python\python38\Include\postal'
         cwd: C:\Users\john\AppData\Local\Temp\pip-install-0g88jmxb\postal_d7ac59296f7a439eaf25b4ec38237aa4\
    Complete output (36 lines):
    WARNING: The wheel package is not available.
    running install
    running build
    running build_py
    creating build
    creating build\lib.win-amd64-3.8
    creating build\lib.win-amd64-3.8\postal
    copying postal\dedupe.py -> build\lib.win-amd64-3.8\postal
    copying postal\expand.py -> build\lib.win-amd64-3.8\postal
    copying postal\near_dupe.py -> build\lib.win-amd64-3.8\postal
    copying postal\normalize.py -> build\lib.win-amd64-3.8\postal
    copying postal\parser.py -> build\lib.win-amd64-3.8\postal
    copying postal\tokenize.py -> build\lib.win-amd64-3.8\postal
    copying postal\token_types.py -> build\lib.win-amd64-3.8\postal
    copying postal\__init__.py -> build\lib.win-amd64-3.8\postal
    creating build\lib.win-amd64-3.8\postal\tests
    copying postal\tests\test_expand.py -> build\lib.win-amd64-3.8\postal\tests
    copying postal\tests\test_parser.py -> build\lib.win-amd64-3.8\postal\tests
    copying postal\tests\_test_near_dupes.py -> build\lib.win-amd64-3.8\postal\tests
    copying postal\tests\__init__.py -> build\lib.win-amd64-3.8\postal\tests
    creating build\lib.win-amd64-3.8\postal\utils
    copying postal\utils\encoding.py -> build\lib.win-amd64-3.8\postal\utils
    copying postal\utils\enum.py -> build\lib.win-amd64-3.8\postal\utils
    copying postal\utils\omitted.py -> build\lib.win-amd64-3.8\postal\utils
    copying postal\utils\__init__.py -> build\lib.win-amd64-3.8\postal\utils
    copying postal\pyutils.h -> build\lib.win-amd64-3.8\postal
    running build_ext
    building 'postal._expand' extension
    creating build\temp.win-amd64-3.8
    creating build\temp.win-amd64-3.8\Release
    creating build\temp.win-amd64-3.8\Release\postal
    C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\bin\HostX86\x64\cl.exe /c /nologo /Ox /W3 /GL /DNDEBUG /MD -I/usr/local/include -Ic:\python\python38\include -Ic:\python\python38\include "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\ATLMFC\include" "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\include" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\ucrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\shared" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\um" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\winrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\cppwinrt" /Tcpostal/pyexpand.c /Fobuild\temp.win-amd64-3.8\Release\postal/pyexpand.obj -std=c99
    clÿ: warning D9002ÿ: option '-std=c99' inconnue ignor‚e
    pyexpand.c
    postal/pyexpand.c(2): fatal error C1083: 'libpostal/libpostal.h'ÿ: No such file or directory
    error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2019\\Community\\VC\\Tools\\MSVC\\14.29.30037\\bin\\HostX86\\x64\\cl.exe' failed with exit status 2
    ----------------------------------------
ERROR: Command errored out with exit status 1: 'c:\python\python38\python.exe' -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-0g88jmxb\\postal_d7ac59296f7a439eaf25b4ec38237aa4\\setup.py'"'"'; __file__='"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-0g88jmxb\\postal_d7ac59296f7a439eaf25b4ec38237aa4\\setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record 'C:\Users\john\AppData\Local\Temp\pip-record-mp4adlfi\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\python\python38\Include\postal' Check the logs for full command output.

Merci pour votre aide

03/08/2021, 17h20
jurassic pork

l'erreur est ici :

Citation:

postal/pyexpand.c(2): fatal error C1083: 'libpostal/libpostal.h'ÿ: No such file or directory

le compilateur C ne trouve pas le chemin des sources de libpostal et là je ne peux pas t'aider :aie: pour te dire comment résoudre ce problème
04/08/2021, 10h59
frutz

Citation:

Envoyé par jurassic pork

l'erreur est ici :

le compilateur C ne trouve pas le chemin des sources de libpostal et là je ne peux pas t'aider :aie: pour te dire comment résoudre ce problème

Merci beaucoup de ton aide, et merci à tous également.

J'ai l'impression que cette librairie pose problème, rien qu'a voir ce qu'il faut faire pour l'installation.
04/08/2021, 11h10
jurassic pork

hello,
elle est beaucoup plus facile à installer sous linux.
Ami calmant, J.P
05/08/2021, 08h11
jurassic pork

1 pièce(s) jointe(s)

hello,
finalement j'ai trouvé comment installer le module python libpostal sous windows. Mais libpostal c'est une vraie usine à gaz. Le répertoire de données fait plus d ' 1,8 Gigaoctets :aie:

Voici la méthode d'installation ( c'est en angliche ) :

Citation:

**Installing libpostal on Windows**

Install [msys2](http://msys2.org) and launch a shell using the `MSYS2 MingW 64-bit` start menu option, **not** the usual `MSYS2 MSYS` option.
This is important because we don't want our `libpostal.dll` to [link to](https://www.davidegrayson.com/windev/msys2/) `msys-2.0.dll` (Python seems to hang if you load this DLL).

Then:
```
pacman -S autoconf automake curl git make libtool gcc mingw-w64-x86_64-gcc
git clone https://github.com/openvenues/libpostal
cd libpostal
cp -rf windows/* ./
./bootstrap.sh
./configure --datadir=[...some dir with a few GB of space...]
make
make install
mkdir headers && cp -r /usr/include/libpostal/ headers/
```
Modify libpostal.def like that (libpostal.def is in the folder of libpostal) :
EXPORTS
libpostal_address_parser_response_destroy
libpostal_expand_address
libpostal_expand_address_root
libpostal_expansion_array_destroy
libpostal_get_address_parser_default_options
libpostal_get_default_duplicate_options
libpostal_get_default_fuzzy_duplicate_options
libpostal_get_default_fuzzy_duplicate_options_with_languages
libpostal_get_default_options
libpostal_get_duplicate_options_with_languages
libpostal_get_near_dupe_hash_default_options
libpostal_is_floor_duplicate
libpostal_is_house_number_duplicate
libpostal_is_name_duplicate
libpostal_is_name_duplicate_fuzzy
libpostal_is_po_box_duplicate
libpostal_is_postal_code_duplicate
libpostal_is_street_duplicate
libpostal_is_street_duplicate_fuzzy
libpostal_is_toponym_duplicate
libpostal_is_unit_duplicate
libpostal_near_dupe_hashes
libpostal_near_dupe_hashes_languages
libpostal_normalize_string
libpostal_normalize_string_languages
libpostal_normalized_tokens
libpostal_normalized_tokens_languages
libpostal_parse_address
libpostal_parser_print_features
libpostal_place_languages
libpostal_setup
libpostal_setup_datadir
libpostal_setup_language_classifier
libpostal_setup_language_classifier_datadir
libpostal_setup_parser
libpostal_setup_parser_datadir
libpostal_teardown
libpostal_teardown_language_classifier
libpostal_teardown_parser
libpostal_tokenize

Now start a command prompt which has access to the Microsoft toolchain. This can be done by e.g. installing the [Windows 10 SDK](https://developer.microsoft.com/en-u...windows-10-sdk) and then running the ``x64 Native Tools Command Prompt``.

Assuming your MSYS and Python are installed in some standard locations, you can use this command prompt to build+install the Python library like so:
```

lib.exe /def:libpostal.def /out:postal.lib /machine:x64 (libpostal.def is in the folder of libpostal)
(ex: D:\Dev\msys64\home\user\libpostal>lib.exe /def:libpostal.def /out:postal.lib /machine:x64)
pip install postal --global-option=build_ext --global-option="-I[...libpostal checkout...]\headers" --global-option="-L[...libpostal checkout...]"
D:\Dev\msys64\home\user\libpostal>copy src\.libs\libpostal-1.dll D:\Dev\Python\eric_env\Lib\site-packages\postal\libpostal.dll

et voici le résultat dans eric6 sous windows :

Pièce jointe 602773

Ami calmant, J.P

Citation:

Envoyé par jurassic pork

hello,
finalement j'ai trouvé comment installer le module python libpostal sous windows. Mais libpostal c'est une vraie usine à gaz. Le répertoire de données fait plus d ' 1,8 Gigaoctets :aie:

Voici la méthode d'installation ( c'est en angliche ) :

et voici le résultat dans eric6 sous windows :

Pièce jointe 602773

Ami calmant, J.P

C'est une bonne nouvelle que tu as réussi à installer sur Windows.

Donc si je comprends bien, il me manque la dernière étape où il faut exécuter les commandes en lançant l'outil X64 Native Tools Command Prompt.

J'ai donc essayer d'exécuter les commandes mais l'installation pose toujours problème. Voici ce que j'ai exécuté comme commande.

Code:

1
2
3
4
5
6
 
C:\msys64\home\john\libpostal>lib.exe /def:libpostal.def /out:postal.lib /machine:x64
Microsoft (R) Library Manager Version 14.29.30040.0
Copyright (C) Microsoft Corporation.  All rights reserved.
 
   Création de la bibliothèque postal.lib et de l'objet postal.exp

Ensuite l'installation de la librairie :

Code:

1
2
 
C:\Python\Python38\Scripts>pip install postal --global-option=build_ext --global-option="-IC:\msys64\home\john\libpostal\headers" --global-option="-LC:\msys64\home\john\libpostal"

Et voici ce que j'obtiens :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
c:\python\python38\lib\site-packages\pip\_internal\commands\install.py:229: UserWarning: Disabling all use of wheels due to the use of --build-option / --global-option / --install-option.
  cmdoptions.check_install_build_global(options)
Collecting postal
  Using cached postal-1.1.9.tar.gz (19 kB)
Requirement already satisfied: six in c:\python\python38\lib\site-packages (from postal) (1.15.0)
Skipping wheel build for postal, due to binaries being disabled for it.
Installing collected packages: postal
    Running setup.py install for postal ... error
    ERROR: Command errored out with exit status 1:
     command: 'c:\python\python38\python.exe' -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-_eh4vmaf\\postal_a20a7862cd1641bfaaad6d0a837c8954\\setup.py'"'"'; __file__='"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-_eh4vmaf\\postal_a20a7862cd1641bfaaad6d0a837c8954\\setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' build_ext '-IC:\msys64\home\john\libpostal\headers' '-LC:\msys64\home\john\libpostal' install --record 'C:\Users\john\AppData\Local\Temp\pip-record-kwykl719\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\python\python38\Include\postal'
         cwd: C:\Users\john\AppData\Local\Temp\pip-install-_eh4vmaf\postal_a20a7862cd1641bfaaad6d0a837c8954\
    Complete output (12 lines):
    WARNING: The wheel package is not available.
    running build_ext
    building 'postal._expand' extension
    creating build
    creating build\temp.win-amd64-3.8
    creating build\temp.win-amd64-3.8\Release
    creating build\temp.win-amd64-3.8\Release\postal
    C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\bin\HostX86\x64\cl.exe /c /nologo /Ox /W3 /GL /DNDEBUG /MD -I/usr/local/include -IC:\msys64\home\john\libpostal\headers -Ic:\python\python38\include -Ic:\python\python38\include "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\ATLMFC\include" "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\include" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\ucrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\shared" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\um" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\winrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\cppwinrt" "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\ATLMFC\include" "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\include" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\ucrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\shared" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\um" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\winrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\cppwinrt" /Tcpostal/pyexpand.c /Fobuild\temp.win-amd64-3.8\Release\postal/pyexpand.obj -std=c99
    clÿ: Ligne de commande warning D9002ÿ: option '-std=c99' inconnue ignor‚e
    pyexpand.c
    postal/pyexpand.c(2): fatal error C1083: Impossible d'ouvrir le fichier includeÿ: 'libpostal/libpostal.h'ÿ: No such file or directory
    error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2019\\Community\\VC\\Tools\\MSVC\\14.29.30037\\bin\\HostX86\\x64\\cl.exe' failed with exit status 2
    ----------------------------------------
ERROR: Command errored out with exit status 1: 'c:\python\python38\python.exe' -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-_eh4vmaf\\postal_a20a7862cd1641bfaaad6d0a837c8954\\setup.py'"'"'; __file__='"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-_eh4vmaf\\postal_a20a7862cd1641bfaaad6d0a837c8954\\setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' build_ext '-IC:\msys64\home\john\libpostal\headers' '-LC:\msys64\home\john\libpostal' install --record 'C:\Users\john\AppData\Local\Temp\pip-record-kwykl719\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\python\python38\Include\postal' Check the logs for full command output.

Je sais pas si ça vient du fait que j'ai mal renseigné les répertoires, je suis pas du tout un pro avec les lignes de commandes, ou alors il me manque des fichiers.

06/08/2021, 12h42
jurassic pork

hello,
as-tu exécuté ces étapes là ? :

Citation:

mkdir headers && cp -r /usr/include/libpostal/ headers/
```
Modify libpostal.def like that (libpostal.def is in the folder of libpostal) :
EXPORTS
libpostal_address_parser_response_destroy
libpostal_expand_address
libpostal_expand_address_root
libpostal_expansion_array_destroy
libpostal_get_address_parser_default_options
libpostal_get_default_duplicate_options
libpostal_get_default_fuzzy_duplicate_options
libpostal_get_default_fuzzy_duplicate_options_with_languages
libpostal_get_default_options
libpostal_get_duplicate_options_with_languages
libpostal_get_near_dupe_hash_default_options
libpostal_is_floor_duplicate
libpostal_is_house_number_duplicate
libpostal_is_name_duplicate
libpostal_is_name_duplicate_fuzzy
libpostal_is_po_box_duplicate
libpostal_is_postal_code_duplicate
libpostal_is_street_duplicate
libpostal_is_street_duplicate_fuzzy
libpostal_is_toponym_duplicate
libpostal_is_unit_duplicate
libpostal_near_dupe_hashes
libpostal_near_dupe_hashes_languages
libpostal_normalize_string
libpostal_normalize_string_languages
libpostal_normalized_tokens
libpostal_normalized_tokens_languages
libpostal_parse_address
libpostal_parser_print_features
libpostal_place_languages
libpostal_setup
libpostal_setup_datadir
libpostal_setup_language_classifier
libpostal_setup_language_classifier_datadir
libpostal_setup_parser
libpostal_setup_parser_datadir
libpostal_teardown
libpostal_teardown_language_classifier
libpostal_teardown_parser
libpostal_tokenize

Ami calmant, J.P

Citation:

Envoyé par jurassic pork

hello,
as-tu exécuté ces étapes là ? :

Ami calmant, J.P

J'ai essayé ça :
Code:

1 2 3 mkdir headers && cp -r /usr/include/libpostal/ headers/ mkdir: cannot create directory ‘headers’: File exists
Egalement ça
Code:

1 2 3 mkdir headers && cp -r /usr/include/libpostal.def/ headers/ mkdir: cannot create directory ‘headers’: File exists
La partie VS2019
Code:

1 2 3 4 5 6 C:\msys64\home\john\libpostal>lib.exe /def:libpostal.def /out:postal.lib /machine:x64 Microsoft (R) Library Manager Version 14.29.30040.0 Copyright (C) Microsoft Corporation. All rights reserved. Création de la bibliothèque postal.lib et de l'objet postal.exp
Ensuite pour les dernières lignes de code, j'ai un doute sur une commande. Je ne sais pas si je dois modifier un chemin ou juste copier coller le code.
Code:

1 2 C:\Python\Python38\Scripts>pip install postal --global-option=build_ext --global-option="-IC:\msys64\home\john\libpostal\headers" --global-option="-LC:\msys64\home\john\libpostal"
ou alors sans le nom de mon répertoire
Code:

1 2 3 pip install postal --global-option=build_ext --global-option="-I[...libpostal checkout...]\headers" --global-option="-L[...libpostal checkout...]"
L'installation échoue donc je peux pas exécuter le code. J'imagine que pour la suite je devrais adapter le code notamment cette partie
Code:

1 2 D:\Dev\Python\eric_env\Lib\site-packages\postal\libpostal.dll
Je suis vraiment pas doué avec ces installations, et j'ai du mal à comprendre ce que je fais.

Au final, est-ce que cette librairie va t'elle le coup.

En tout cas, j'ai essayé l'autre librairie python : adresse_parser mais le résultat n'est pas satisfaisant.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 # Importation des librairies import pandas as pd import phonetics from address_parser import Parser adr = Parser().parse("Les Vignes d'en Grach, Route de Graulhet, GIROUSSENS, 81500, FR") Nom_voie = adr.road.name Num_voie = adr.number.number Code_postal = adr.locality.zip Ville = adr.locality.city print(Nom_voie) print(Num_voie) print(Code_postal) print(Ville) Les Vignes D'En Grach -1 81500 fr
Le nom de la voie est faux.

06/08/2021, 18h25
jurassic pork

Effectivement avec libpostal ça marche beaucoup mieux mais c'est assez long à se lancer ( certainement à cause du chargement de certaines données du répertoire libpostal qui fait 1,8 Go).
Résultat :

Citation:

[("les vignes d'en grach", 'house'), ('route de graulhet', 'road'), ('giroussens', 'city'), ('81500', 'postcode'), ('fr', 'country')]

Pour l'installation de libpostal
1 - Vérifie que tu as bien dans le répertoire headers le répertoire libpostal avec dedans libpostal.h

La commande :

Citation:

C:\Python\Python38\Scripts>pip install postal --global-option=build_ext --global-option="-IC:\msys64\home\john\libpostal\headers" --global-option="-LC:\msys64\home\john\libpostal"

me semble bonne
08/08/2021, 15h07
frutz

1 pièce(s) jointe(s)

Citation:

Envoyé par jurassic pork

Effectivement avec libpostal ça marche beaucoup mieux mais c'est assez long à se lancer ( certainement à cause du chargement de certaines données du répertoire libpostal qui fait 1,8 Go).
Résultat :

Pour l'installation de libpostal
1 - Vérifie que tu as bien dans le répertoire headers le répertoire libpostal avec dedans libpostal.h

La commande :

me semble bonne

C'est déjà une bonne chose que cette librairie soit plus fiable et reconnaît mieux les adresses.

Je viens de vérifier le répertoire libpostal qui contient bien le fichier libpostal.h (capture ci-dessous)

Pièce jointe 602942

J'ai essayé de faire l'installation sur un autre pc, et je n'ai pas réussi. Je dois vraiment m'y prendre mal pour ne pas réussir cette installation.
10/08/2021, 15h54
frutz
J'ai tout de même essayé la deuxième librairie fraddress qui devrait mieux reconnaitre des adresses françaises.
Code:

1 2 3 import fraddress print(fraddress.parse("Les Vignes d'en Grach, Route de Graulhet, GIROUSSENS, 81500, FR"))
Malheureusement le résultat n'est pas meilleur.

Code:

[('Les', 'NotAddress'), ('Vignes', 'NotAddress'), ("d'en", 'NotAddress'), ('Grach,', 'NotAddress'), ('Route', 'NotAddress'), ('de', 'NotAddress'), ('Graulhet,', 'NotAddress'), ('GIROUSSENS,', 'NotAddress'), ('81500,', 'Zipcode'), ('FR', 'City')]
11/08/2021, 07h24
jurassic pork

1 pièce(s) jointe(s)

hello,
finalement puisque j'arrive à installer le module python chez moi, j'ai fabriqué le wheel pour python 3.8 et python 3.9 en 64 bits ( dans pièce jointe)
exemple d'installation pour python 3.8 : pip install postal-1.1.9-cp38-cp38-win_amd64.whl
Ne pas oublier de copier la dll libpostal-1.dll dans le répertoire du module postal et la renommer postal.dll.
Attention comme je l'avais indiqué :

Citation:

Install [msys2](http://msys2.org) and launch a shell using the `MSYS2 MingW 64-bit` start menu option, **not** the usual `MSYS2 MSYS` option.
This is important because we don't want our `libpostal.dll` to [link to](https://www.davidegrayson.com/windev/msys2/) `msys-2.0.dll` (Python seems to hang if you load this DLL).

Il y a 4 consoles pour MSYS2 :
MSYS2 MSYS
MSYS2 MinGW 64-bit
MSYS2 MinGW 32-bit
MSYS2 MinGW UCRT 64-bit

Il faut avoir compiler la librairie C libpostal dans la console MSYS2 MinGW 64-bit (pour du 64 bits) pour ne pas avoir le problème évoqué (dépendance avec msys-2.0.dll).

Ami calmant, J.P

2 pièce(s) jointe(s)

Citation:

Envoyé par jurassic pork

hello,
finalement puisque j'arrive à installer le module python chez moi, j'ai fabriqué le wheel pour python 3.8 et python 3.9 en 64 bits ( dans pièce jointe)
exemple d'installation pour python 3.8 : pip install postal-1.1.9-cp38-cp38-win_amd64.whl
Ne pas oublier de copier la dll libpostal-1.dll dans le répertoire du module postal et la renommer postal.dll.
Attention comme je l'avais indiqué :
Il y a 4 consoles pour MSYS2 :
MSYS2 MSYS
MSYS2 MinGW 64-bit
MSYS2 MinGW 32-bit
MSYS2 MinGW UCRT 64-bit

Il faut avoir compiler la librairie C libpostal dans la console MSYS2 MinGW 64-bit (pour du 64 bits) pour ne pas avoir le problème évoqué (dépendance avec msys-2.0.dll).

Ami calmant, J.P

Merci beaucoup pour ta patience et le temps que tu m'accordes.

Du coup, je repars sur une installation complète en essayant de suivre correctement les instructions.

Pour récapituler j'ai réinstallé MSYS64 sur mon poste, j'ai bien exécuté la console MSYS2 MinGW 64-bit.

J'ai fait copié collé du script suivant :
Code:

1 2 3 4 5 6 7 8 9 10 pacman -S autoconf automake curl git make libtool gcc mingw-w64-x86_64-gcc git clone https://github.com/openvenues/libpostal cd libpostal cp -rf windows/* ./ ./bootstrap.sh ./configure --datadir=/c make make install mkdir headers && cp -r /usr/include/libpostal/ headers/
Au moment de l'installation, on me demande si je veux procéder à l'installation, j'écris Y pour Yes.

Les composants s'installent et à la fin j'obtiens ceci :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 Installation MSYS64 /usr/bin/mkdir -p '/mingw64/include/libpostal' /usr/bin/install -c -m 644 libpostal.h '/mingw64/include/libpostal' make[2]: Leaving directory '/home/john/libpostal/src' make[1]: Leaving directory '/home/john/libpostal/src' Making install in test make[1]: Entering directory '/home/john/libpostal/test' make[2]: Entering directory '/home/john/libpostal/test' make[2]: Nothing to be done for 'install-exec-am'. make[2]: Nothing to be done for 'install-data-am'. make[2]: Leaving directory '/home/john/libpostal/test' make[1]: Leaving directory '/home/john/libpostal/test' make[1]: Entering directory '/home/john/libpostal' make[2]: Entering directory '/home/john/libpostal' make[2]: Nothing to be done for 'install-exec-am'. /usr/bin/mkdir -p '/mingw64/lib/pkgconfig' /usr/bin/install -c -m 644 libpostal.pc '/mingw64/lib/pkgconfig' make[2]: Leaving directory '/home/john/libpostal' make[1]: Leaving directory '/home/john/libpostal' cp: cannot stat '/usr/include/libpostal/': No such file or directory
Je sais pas si c'est rassurant la dernière ligne ?

Je me suis rendu compte que je n'ai pas suivi les instructions suivantes car je n'ai pas compris ce que je dois faire :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 Modify libpostal.def like that (libpostal.def is in the folder of libpostal) : EXPORTS libpostal_address_parser_response_destroy libpostal_expand_address libpostal_expand_address_root libpostal_expansion_array_destroy libpostal_get_address_parser_default_options libpostal_get_default_duplicate_options libpostal_get_default_fuzzy_duplicate_options libpostal_get_default_fuzzy_duplicate_options_with_languages libpostal_get_default_options libpostal_get_duplicate_options_with_languages libpostal_get_near_dupe_hash_default_options libpostal_is_floor_duplicate libpostal_is_house_number_duplicate libpostal_is_name_duplicate libpostal_is_name_duplicate_fuzzy libpostal_is_po_box_duplicate libpostal_is_postal_code_duplicate libpostal_is_street_duplicate libpostal_is_street_duplicate_fuzzy libpostal_is_toponym_duplicate libpostal_is_unit_duplicate libpostal_near_dupe_hashes libpostal_near_dupe_hashes_languages libpostal_normalize_string libpostal_normalize_string_languages libpostal_normalized_tokens libpostal_normalized_tokens_languages libpostal_parse_address libpostal_parser_print_features libpostal_place_languages libpostal_setup libpostal_setup_datadir libpostal_setup_language_classifier libpostal_setup_language_classifier_datadir libpostal_setup_parser libpostal_setup_parser_datadir libpostal_teardown libpostal_teardown_language_classifier libpostal_teardown_parser libpostal_tokenize
Est-ce que je dois changer quelque chose à ces fichiers ? D'ailleurs je ne sais pas où ils se trouvent. Est-ce que je dois copier dans la ligne de commande la partie EXPORTS + tous les noms de fichiers ?

Avant de passer à l'étape suivante, j'aimerais confirmer avec toi ce qu'il est demandé dans cette instruction.

J'ai fait aussi plusieurs captures d'écran des différents dossiers, peut-être que ça peut donner une indication sur ce que j'ai raté.

Le fichier libpostal.h se retrouve dans le dossier msys64/mingw64/include/libpostal/

Pièce jointe 603131

Par contre le fichier n'est pas présent dans le répertoire : home\john\libpostal\headers

Pièce jointe 603132

On sait que le problème vient de mon manque de connaissance sur l'installation de ces fichiers, mais j'espère qu'avec ton aide, je puisse installer correctement cette librairie.

En tout cas, merci beaucoup de ton aide.

11/08/2021, 16h56
jurassic pork
Citation:

Envoyé par frutz

Je sais pas si c'est rassurant la dernière ligne ?

non ce n'est pas rassurant . voir plus bas
Code:

1 2 Modify libpostal.def like that (libpostal.def is in the folder of libpostal)
cela veut dire qu'il faut éditer le fichier libpostal.def qui est dans le répertoire où a été cloné libpostal et remplacer ce qui est dedans par tout ce qu'il y a d'écrit dans mon message.

Le fichier libpostal.h se retrouve dans le dossier msys64/mingw64/include/libpostal/

Pièce jointe 603131

Par contre le fichier n'est pas présent dans le répertoire : home\john\libpostal\headers

Pour le fichier libpostal.h le plus facile c'est de le mettre où il peut être vu par le compilateur par exemple pour toi :
C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\include

Dans ce cas ce n'est plus la peine d'exécuter la ligne qui crée le répertoire headers et qui copie le fichier libpostal.h

Ami calmant, J.P

2 pièce(s) jointe(s)

Je te remercie pour ces nouvelles explications.

Du coup, j'ai édité le fichier libpostal.def en modifiant le script comme ceci :

Pièce jointe 603198

Puis j'ai copié le fichier libpostal.h dans le répertoire Visual Studio comme ceci :

Pièce jointe 603200

Malheureusement, j'obtiens toujours ce message d'erreur

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
C:\Python\Python38\Scripts>pip install postal --global-option=build_ext --global-option="-IC:\msys64\home\john\libpostal\headers" --global-option="-LC:\msys64\home\john\libpostal"
c:\python\python38\lib\site-packages\pip\_internal\commands\install.py:229: UserWarning: Disabling all use of wheels due to the use of --build-option / --global-option / --install-option.
  cmdoptions.check_install_build_global(options)
Collecting postal
  Using cached postal-1.1.9.tar.gz (19 kB)
Requirement already satisfied: six in c:\python\python38\lib\site-packages (from postal) (1.15.0)
Skipping wheel build for postal, due to binaries being disabled for it.
Installing collected packages: postal
    Running setup.py install for postal ... error
    ERROR: Command errored out with exit status 1:
     command: 'c:\python\python38\python.exe' -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-4klo4p99\\postal_06125b08afc047ef85e8b369484922b1\\setup.py'"'"'; __file__='"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-4klo4p99\\postal_06125b08afc047ef85e8b369484922b1\\setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' build_ext '-IC:\msys64\home\john\libpostal\headers' '-LC:\msys64\home\john\libpostal' install --record 'C:\Users\john\AppData\Local\Temp\pip-record-zhadecb3\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\python\python38\Include\postal'
         cwd: C:\Users\john\AppData\Local\Temp\pip-install-4klo4p99\postal_06125b08afc047ef85e8b369484922b1\
    Complete output (12 lines):
    WARNING: The wheel package is not available.
    running build_ext
    building 'postal._expand' extension
    creating build
    creating build\temp.win-amd64-3.8
    creating build\temp.win-amd64-3.8\Release
    creating build\temp.win-amd64-3.8\Release\postal
    C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\bin\HostX86\x64\cl.exe /c /nologo /Ox /W3 /GL /DNDEBUG /MD -I/usr/local/include -IC:\msys64\home\john\libpostal\headers -Ic:\python\python38\include -Ic:\python\python38\include "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\ATLMFC\include" "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\include" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\ucrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\shared" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\um" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\winrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\cppwinrt" "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\ATLMFC\include" "-IC:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30037\include" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\ucrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\shared" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\um" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\winrt" "-IC:\Program Files (x86)\Windows Kits\10\include\10.0.19041.0\cppwinrt" /Tcpostal/pyexpand.c /Fobuild\temp.win-amd64-3.8\Release\postal/pyexpand.obj -std=c99
    clÿ: Ligne de commande warning D9002ÿ: option '-std=c99' inconnue ignor‚e
    pyexpand.c
    postal/pyexpand.c(2): fatal error C1083: Impossible d'ouvrir le fichier includeÿ: 'libpostal/libpostal.h'ÿ: No such file or directory
    error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2019\\Community\\VC\\Tools\\MSVC\\14.29.30037\\bin\\HostX86\\x64\\cl.exe' failed with exit status 2
    ----------------------------------------
ERROR: Command errored out with exit status 1: 'c:\python\python38\python.exe' -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-4klo4p99\\postal_06125b08afc047ef85e8b369484922b1\\setup.py'"'"'; __file__='"'"'C:\\Users\\john\\AppData\\Local\\Temp\\pip-install-4klo4p99\\postal_06125b08afc047ef85e8b369484922b1\\setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' build_ext '-IC:\msys64\home\john\libpostal\headers' '-LC:\msys64\home\john\libpostal' install --record 'C:\Users\john\AppData\Local\Temp\pip-record-zhadecb3\install-record.txt' --single-version-externally-managed --compile --install-headers 'c:\python\python38\Include\postal' Check the logs for full command output.
WARNING: You are using pip version 21.2.2; however, version 21.2.3 is available.
You should consider upgrading via the 'c:\python\python38\python.exe -m pip install --upgrade pip' command.

Décidément, ça ne veut toujours pas s'installer.

12/08/2021, 16h37
jurassic pork

1 pièce(s) jointe(s)

oops :oops: je me suis mal exprimé c'est libpostal\libpostal.h qu'il faut mettre dans le dossier include

Pièce jointe 603201

mai si tu n'arrives pas à faire la dernière partie (après la fabrication de la dll) ce n'est pas grave tu peux utiliser alors mon .whl (voir un de mes messages précédents).

1 pièce(s) jointe(s)

Citation:

Envoyé par jurassic pork

oops :oops: je me suis mal exprimé c'est libpostal\libpostal.h qu'il faut mettre dans le dossier include

Pièce jointe 603201

mai si tu n'arrives pas à faire la dernière partie (après la fabrication de la dll) ce n'est pas grave tu peux utiliser alors mon .whl (voir un de mes messages précédents).

Je reviens aux nouvelles concernant l'installation de cette librairie.

Bonnes nouvelles, j'ai réussi l'installation de la librairie, il fallait bien copier l'ensemble du dossier contenant le fichier libpostal.h. C'est super que l'installation a marché et que je n'ai plus cet horrible message d'erreur rouge dans la console.

Ensuite j'ai copié le fichier libpostal-1.dll que j'ai renommé en postal.ddl comme ci-dessous.

Pièce jointe 603384

Malheureusement je n'ai pas réussi à utiliser la librairie , j'ai le message d'erreur suivant. En tout cas on a avancé sur le sujet de l'installation et je te remercie énormément pour ton aide.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 from postal.parser import parse_address print(parse_address("Les Vignes d'en Grach, Route de Graulhet")) ImportError Traceback (most recent call last) <ipython-input-5-9bb27d7f1a64> in <module> ----> 1 from postal.parser import parse_address 2 3 print(parse_address("Les Vignes d'en Grach, Route de Graulhet")) c:\python\python38\lib\site-packages\postal\parser.py in <module> 1 """Python bindings to libpostal parse_address.""" ----> 2 from postal import _parser 3 from postal.utils.encoding import safe_decode 4 5 ImportError: DLL load failed while importing _parser: Le module spécifié est introuvable.

16/08/2021, 15h13
jurassic pork

hello,
regarde bien mon message d'installation initial 8O : le nouveau nom pour la dll c'est libpostal.dll pas postal.dll

Ami calmant, J.P