Discussion :

[nadaeivar]

Bonjour

Je m'appelle Ivar je suis un peu nouveau en python, voici mon problème j'ai un fichier text de 8 millions de lignes que je voulais insérer dans ma base de données postgresql alors avec un bath Linux j'ai splitter le fichier maintenant j'aimerais envoyé un processus asynchrone pour la lecture des fichiers splittés un à un. mon code de lecture de fichier est:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#liste tous les fichiers du repertoire choisi
def listrepertoire(path): 
    fichier=[]
    l = glob.glob(path+'/*')
    for i in l:
        if os.path.isdir(i): fichier.extend(listdirectory(i))
        else: fichier.append(i) 
    return fichier
 
#ouvre chaque fichier de la liste
def file_decoupe():
	a=listdirectory(path)
	for i in a:
	 fichier=open(i, 'r')

Merci

[josmiley]

salut,
je n'ai rien compris ...
tu veux faire quoi en détail ?

[nadaeivar]

je veux envoyer des process asynchrones pour traiter les fichiers découpes, un par fichier.

[N.tox]

Si tu es familier (ou non pour le cas des process) des concepts de threads et/ou de multi-process :

• module multiprocessing (et plus particulièrement cet exemple)
• module threading

Je trouve personnellement la doc de multiprocessing mieux fournie en exemples

[nadaeivar]

je ne suis pas trop familier avec les process

[wiztricks]

Salut,

Pour info, PostgreSQL vient avec un utilitaire dénommé pgloader qui fait:
- split des fichiers d'entrées,
- parallélisation des chargements via threads
- bulk load.
...et il est écrit en Python.
- W

[nadaeivar]

j'ai installé pgloader mais je n'arrive pas à l'utiliser

[wiztricks]

j'ai installé pgloader mais je n'arrive pas à l'utiliser

Il faut choisir entre passer un minimum temps à vous faire la main avec et les incertitudes à produire vous même un code qui devra réaliser un sous ensemble de ses fonctionnalités.

Je peux vous dire que pgloader "fonctionne" plutôt bien puisque nombre de clients que je connais l'utilisent et en sont plutôt satisfaits.

Est ce que vous n'arrivez pas à l'utiliser parce que "rien ne fonctionne" ou bien est ce que vous n'arrivez pas à voir comment résoudre votre problème avec? Google ou le forum PostgreSQL pourraient vous aider...
- W