IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

optimisation lecture fichier .txt


Sujet :

Python

  1. #21
    Candidat au Club
    Femme Profil pro
    en reconversion
    Inscrit en
    Juillet 2017
    Messages
    15
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 43
    Localisation : France, Deux Sèvres (Poitou Charente)

    Informations professionnelles :
    Activité : en reconversion
    Secteur : Service public

    Informations forums :
    Inscription : Juillet 2017
    Messages : 15
    Points : 4
    Points
    4
    Par défaut
    alors j'ai essayé plusieurs commandes différentes. Aucune erreur, mais rien ne se passe... Je viens donc de faire une simple création de table dans ma base de données:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
     
    args = ["sqlite3",DatabaseName,"CREATE TABLE my_table(un TEXT, deux TEXT, trois TEXT, quatre TEXT, cinq TEXT, six TEXT);",]
    subprocess.call(args, shell=True)
    Et là pas de table créée. mais toujours pas de message d'erreur.
    DatabaseName est une variable contenant l'adresse complète du fichier de la base sqlite.
    Je précise au cas où que je suis sous linux.
    Pour lancer une commande sqlite je dois me mettre, depuis la console, dans le répertoire python2.7. Ensuite l'entrée manuelle des commandes précédentes fonctionnent correctement.
    A savoir :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
     
    sqlite3 mabase.db
    CREATE TABLE my_table(un TEXT, deux TEXT, trois TEXT, quatre TEXT, cinq TEXT, six TEXT);
    Me crée bien une table dans ma base de données.
    Pourquoi cela ne fonctionne t il pas depuis le subprocess? Faut il lui spécifier l'endroit ou se trouve sqlite 3?

  2. #22
    Expert éminent sénior
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 283
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 283
    Points : 36 770
    Points
    36 770
    Par défaut
    Salut,

    Citation Envoyé par maudJ Voir le message
    Pourquoi cela ne fonctionne t il pas depuis le subprocess? Faut il lui spécifier l'endroit ou se trouve sqlite3?
    Lancez la console Python et jouez avec:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    >>> from subprocess import call
    >>> args = [ "sqlite3", "test.dat", "create table test (a text);" ]
    Puis vous regardez ce que çà sort avec:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    >>> call(args, shell=True)
    >>> call(args, shell=False)
    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

  3. #23
    Candidat au Club
    Femme Profil pro
    en reconversion
    Inscrit en
    Juillet 2017
    Messages
    15
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 43
    Localisation : France, Deux Sèvres (Poitou Charente)

    Informations professionnelles :
    Activité : en reconversion
    Secteur : Service public

    Informations forums :
    Inscription : Juillet 2017
    Messages : 15
    Points : 4
    Points
    4
    Par défaut
    Super merci! Ca m'a permis de comprendre et de faire mon code.
    Pour les essais j'ai mis dans une table temporaire, mais je vais modifier pour importer directement dans la table et nettoyer ensuite les données qui ne vont pas (entêtes et première colonne), ce qui fera moins de traitement supplémentaire qu'une copie de table. Il ne me reste plus qu'à calculer le temps gagné ou pas... En tout pas au niveau ressources c'est clair que ça en prend moins que toutes les solutions testées précédemment.

    Je passe en résolu.

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    	# écriture dans le fichier script de la commande d'importation
    	pathScript = self.pathDir + '/Donnees/script.sqlite'
    	data = ".mod csv\n.separator ;\n.import " + pathFichier + " table_tmp"
    	fichier = open(pathScript,"w")
            fichier.write(data)
            fichier.close()	
    	# création d'une table temporaire pour l'importation
    	args = [ "sqlite3", self.pathBD, "create table IF NOT EXISTS table_tmp (un text, deux text, trois text, quatre float, cinq float, six float);" ]
    	proc=subprocess.Popen(args, shell=False)
    	proc.wait()
    	# commande d'exécution du script d'importation
    	args = [ "sqlite3",  self.pathBD, ".read "+ pathScript ]
    	proc=subprocess.Popen(args, shell=False)
    	proc.wait()

  4. #24
    Candidat au Club
    Femme Profil pro
    en reconversion
    Inscrit en
    Juillet 2017
    Messages
    15
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 43
    Localisation : France, Deux Sèvres (Poitou Charente)

    Informations professionnelles :
    Activité : en reconversion
    Secteur : Service public

    Informations forums :
    Inscription : Juillet 2017
    Messages : 15
    Points : 4
    Points
    4
    Par défaut
    Pour info, avec le clock, je trouve 4.73631 s de traitement avec la nouvelle solution (subprocess) contre 39.090568 s avec la lecture ligne par ligne.
    Y a pas photo c'est efficace!

+ Répondre à la discussion
Cette discussion est résolue.
Page 2 sur 2 PremièrePremière 12

Discussions similaires

  1. optimiser lecture fichier image
    Par cheho dans le forum C++
    Réponses: 17
    Dernier message: 15/09/2006, 14h14
  2. lecture fichier txt
    Par stephaneamadeus dans le forum C
    Réponses: 8
    Dernier message: 28/04/2006, 18h47
  3. Lecture fichier txt
    Par licorne dans le forum C
    Réponses: 3
    Dernier message: 03/04/2006, 17h14
  4. Optimiser traitement fichier [.txt]
    Par Metallic-84s dans le forum Langage
    Réponses: 14
    Dernier message: 16/03/2006, 13h33
  5. [langage] prob lecture fichier .txt
    Par martijan dans le forum Langage
    Réponses: 3
    Dernier message: 16/07/2003, 11h08

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo