Discussion :

[ratatam25]

Bonjour,
Dans le cadre d'un stage de Master d'information en santé, je dois réaliser un programme qui traite un fichier (format.txt) mensuel de comptant entre 15 000 et 150 000 lignes en vu de réaliser un entrepot de données.
Chaque ligne comprend au moins 165 caractères. Ces 165 caractères definissent des variables (déterminées selon un référentiel officiel).
J'affecte à mes variables, la valeur qui leur reviennent par l'intermediaire d'un substr() grace à un script php.
J'enregistre ensuite dans ma base de donnée (phpmyadmin)
Mon souci est le temps de traitement: plusieurs minutes de traitement.

Je ne peux pas faire un "LOAD DATA INFILE" en sql car mon fichier (qui ressemble à une table) n'est pas de type "Forme Normale 2" format que je dois obtenir après traitement. Je dois obtenir à la fin 3 tables differentes réliées par des clés.

Comment faire pour diminuer ce temps de traitement ?
Le substr() dans php est il adapté ?
Dois je reprendre le tout et essayer de faire des substr en sql:
remplir une premiere table en chargeant initialement toutes mes lignes, puis traiter ces lignes avec des substr sql pour 'peupler' les variables de mes 3 tables définitives ?
Merci de vos réponses.

[ratatam25]

Bonjour,
J'ai essayer de charger mon fichier initial dans une table. Cela a marché.
Ensuite j'ai fait des SUBSTR (). Pas de comparaison possible en terme de vitesse d'execution.
Il me reste un problème : ma chaine de caractères correspond aux valeurs de 30 variables. L'ordre de ces variables dans la chaine dépend d'un format donné en début de chaine. Il faut donc que je trouve comment 'tronçonner" cette chaine en respectant le format.
Je vais essayer SELECT .... CASE ....END ... FROM.


Je ne ferme pas encore la discussion si certains souhaitent me proposer une autre technique.

Merci à ceux qui se sont penché sur mon pb.