IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Langage PHP Discussion :

Optimiser traitement fichier [.txt]


Sujet :

Langage PHP

  1. #1
    Membre du Club
    Inscrit en
    novembre 2005
    Messages
    73
    Détails du profil
    Informations forums :
    Inscription : novembre 2005
    Messages : 73
    Points : 58
    Points
    58
    Par défaut Optimiser traitement fichier [.txt]
    Bonjour,

    Je voudrais savoir comment procéder pour optimiser le traitement de fichiers [.txt] assez conséquents ?

    Merci,
    Metallic-84s

  2. #2
    Rédacteur

    Avatar de Yogui
    Homme Profil pro
    Directeur technique
    Inscrit en
    février 2004
    Messages
    13 721
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Yonne (Bourgogne)

    Informations professionnelles :
    Activité : Directeur technique

    Informations forums :
    Inscription : février 2004
    Messages : 13 721
    Points : 29 985
    Points
    29 985
    Par défaut
    Salut

    Peux-tu préciser ta pensée ?
    Un fichier texte n'est guère qu'une variable. Tout dépend de ce que tu souhaites en faire...

  3. #3
    Membre du Club
    Inscrit en
    novembre 2005
    Messages
    73
    Détails du profil
    Informations forums :
    Inscription : novembre 2005
    Messages : 73
    Points : 58
    Points
    58
    Par défaut
    Citation Envoyé par Kirkis
    Salut

    Peux-tu préciser ta pensée ?
    Un fichier texte n'est guère qu'une variable. Tout dépend de ce que tu souhaites en faire...
    Alors, par exemple : je possède un fichier [.txt] que j'utilise comme base de donnée. Celui-ci ne fait que ~500 Ko, donc il n'est pas encore trop lourd à manipuler. Mais par exemple, pour un fichier de plusieurs Go, le temps de calcul, par exemple pour trouver une entrée dans la base de donnée doit être relativement long, non ?

  4. #4
    Membre éprouvé Avatar de macbook
    Inscrit en
    février 2006
    Messages
    838
    Détails du profil
    Informations forums :
    Inscription : février 2006
    Messages : 838
    Points : 1 009
    Points
    1 009
    Par défaut
    Citation Envoyé par Metallic-84s
    Alors, par exemple : je possède un fichier [.txt] que j'utilise comme base de donnée.
    Parce que tu n'as pas trouvé de base de données qui te conviennes ? A partir d'un certain niveau de données à traiter il faut passer à des solutions professionnelles et cesser la bidouille.

    Plusieurs gigas... naméo.
    Consultant idéaliste.

  5. #5
    Expert éminent Avatar de Mr N.
    Profil pro
    Inscrit en
    septembre 2004
    Messages
    5 418
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : septembre 2004
    Messages : 5 418
    Points : 6 449
    Points
    6 449
    Par défaut
    ben utilise une base de données alors.

    sinon tu peux toujours te construire un index qui dit qu'une chaine de caractère se trouvent aux positions (seek) x1, x2, ... et xn dans le fichier de base.

  6. #6
    Rédacteur

    Avatar de Yogui
    Homme Profil pro
    Directeur technique
    Inscrit en
    février 2004
    Messages
    13 721
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Yonne (Bourgogne)

    Informations professionnelles :
    Activité : Directeur technique

    Informations forums :
    Inscription : février 2004
    Messages : 13 721
    Points : 29 985
    Points
    29 985
    Par défaut
    Comme le dit macbook, il est généralement préférable de passer à l'utilisation d'un SGBD. C'est ce système qui s'occupera d'optimiser les accès et la recherche.
    Tu as l'embarras du choix...

  7. #7
    Membre du Club
    Inscrit en
    novembre 2005
    Messages
    73
    Détails du profil
    Informations forums :
    Inscription : novembre 2005
    Messages : 73
    Points : 58
    Points
    58
    Par défaut
    Ok merci...

    Bien entendu pour la base de donnée. Mais je me demandais comment techniquement on pourrait traiter ce genre de "cas". Donc oui, l'idée de Mr N. me semble bonne : construire un index et traiter le fichier par blocs.

  8. #8
    Membre éprouvé Avatar de macbook
    Inscrit en
    février 2006
    Messages
    838
    Détails du profil
    Informations forums :
    Inscription : février 2006
    Messages : 838
    Points : 1 009
    Points
    1 009
    Par défaut
    Cela revient à réinventer la roue.
    Depuis le temps qu'elle a été inventée, il va falloir sérieusement se pencher dessus. Il doit y avoir des améliorations à apporter.
    Consultant idéaliste.

  9. #9
    Expert éminent Avatar de Mr N.
    Profil pro
    Inscrit en
    septembre 2004
    Messages
    5 418
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : septembre 2004
    Messages : 5 418
    Points : 6 449
    Points
    6 449
    Par défaut
    Sinon le code de sqlite est disponible si tu veux le porter en php

  10. #10
    Membre du Club
    Inscrit en
    novembre 2005
    Messages
    73
    Détails du profil
    Informations forums :
    Inscription : novembre 2005
    Messages : 73
    Points : 58
    Points
    58
    Par défaut
    Citation Envoyé par macbook
    Cela revient à réinventer la roue.
    Depuis le temps qu'elle a été inventée, il va falloir sérieusement se pencher dessus. Il doit y avoir des améliorations à apporter.
    Je ne vais pas utiliser un telle solution ! Je veux simplement comprendre comment on pourrait procéder. Maintenant, si tu utilises tes outils informatiques sans comprendre comment ils ont été élaborés, ça te regarde. Mais je voulais juste m'informer, c'est tout.

  11. #11
    Rédacteur

    Avatar de Yogui
    Homme Profil pro
    Directeur technique
    Inscrit en
    février 2004
    Messages
    13 721
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Yonne (Bourgogne)

    Informations professionnelles :
    Activité : Directeur technique

    Informations forums :
    Inscription : février 2004
    Messages : 13 721
    Points : 29 985
    Points
    29 985
    Par défaut
    BerkeleyDB a beau avoir été racheté récemment, le code est encore disponible et j'imagine que tu trouveras difficilement plus rapide (c'est parfois le backend utilisé pour les SGBD).

  12. #12
    Membre éprouvé Avatar de macbook
    Inscrit en
    février 2006
    Messages
    838
    Détails du profil
    Informations forums :
    Inscription : février 2006
    Messages : 838
    Points : 1 009
    Points
    1 009
    Par défaut
    Citation Envoyé par Metallic-84s
    Citation Envoyé par macbook
    Cela revient à réinventer la roue.
    Depuis le temps qu'elle a été inventée, il va falloir sérieusement se pencher dessus. Il doit y avoir des améliorations à apporter.
    Je ne vais pas utiliser un telle solution ! Je veux simplement comprendre comment on pourrait procéder. Maintenant, si tu utilises tes outils informatiques sans comprendre comment ils ont été élaborés, ça te regarde. Mais je voulais juste m'informer, c'est tout.
    On ne s'énerve pas.

    Je donne seulement mon avis.
    J'utilise un système de fichier txt perso pour gérer des données *lights* pour alléger ma base de données. Seulement au delà d'un certain poids de fichier, ou en cas de besoin de recherche complexe ou d'updatage trop régulier le système trouve immédiatement ses limites.
    Il faut alors passer à un SGBD. Sqlite est tout indiqué pour cela, mais ce n'est pas dispo pour tout le monde.
    Consultant idéaliste.

  13. #13
    Membre du Club
    Inscrit en
    novembre 2005
    Messages
    73
    Détails du profil
    Informations forums :
    Inscription : novembre 2005
    Messages : 73
    Points : 58
    Points
    58
    Par défaut
    Citation Envoyé par macbook
    On ne s'énerve pas.

    Je donne seulement mon avis.
    J'utilise un système de fichier txt perso pour gérer des données *lights* pour alléger ma base de données. Seulement au delà d'un certain poids de fichier, ou en cas de besoin de recherche complexe ou d'updatage trop régulier le système trouve immédiatement ses limites.
    Il faut alors passer à un SGBD. Sqlite est tout indiqué pour cela, mais ce n'est pas dispo pour tout le monde.
    Oki...

    Et à partir de quelle taille considères-tu qu'il est nécessaire de passer du fichier texte à la base de donnée ? Enfin, ça dépend beaucoup du niveau de sollicitation de ce fichier texte je pense.

  14. #14
    Membre éprouvé Avatar de macbook
    Inscrit en
    février 2006
    Messages
    838
    Détails du profil
    Informations forums :
    Inscription : février 2006
    Messages : 838
    Points : 1 009
    Points
    1 009
    Par défaut
    Au delà de 2 MO PHP a du mal à gérer les fichiers de sessions sans dépasser la mémoire tampon, alors on devrait pouvoir rasonablement considérer qu'il en va de même pour les fichier .txt.

    Perso mes fichier .txt contiennent rarement plus de cents lignes pour un poids de 50 ko maxi...
    Consultant idéaliste.

  15. #15
    Membre du Club
    Inscrit en
    novembre 2005
    Messages
    73
    Détails du profil
    Informations forums :
    Inscription : novembre 2005
    Messages : 73
    Points : 58
    Points
    58
    Par défaut
    Citation Envoyé par macbook
    Au delà de 2 MO PHP a du mal à gérer les fichiers de sessions sans dépasser la mémoire tampon, alors on devrait pouvoir rasonablement considérer qu'il en va de même pour les fichier .txt.

    Perso mes fichier .txt contiennent rarement plus de cents lignes pour un poids de 50 ko maxi...
    Okay... C'est noté, merci.

    Bonne journée.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Traitement fichier txt pour Excel
    Par jouclar dans le forum Général Python
    Réponses: 2
    Dernier message: 02/03/2011, 18h22
  2. traitement fichier .txt
    Par steven78700 dans le forum EDI, CMS, Outils, Scripts et API
    Réponses: 12
    Dernier message: 15/02/2011, 06h53
  3. [PERL]: Help script traitement fichier txt tabulaire
    Par Piccolupo13 dans le forum Langage
    Réponses: 2
    Dernier message: 21/08/2007, 21h37
  4. [CSV] Traitement fichiers txt/csv avec php
    Par cirtey dans le forum Langage
    Réponses: 4
    Dernier message: 26/01/2007, 17h46
  5. Traitement fichier .txt (gestion des '','')
    Par clemasson dans le forum Access
    Réponses: 1
    Dernier message: 11/12/2006, 16h26

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo