Bonjour,
Dans le cadre d'un stage de Master d'information en santé, je dois réaliser un programme qui traite un fichier (format.txt) mensuel de comptant entre 15 000 et 150 000 lignes en vu de réaliser un entrepot de données.
Chaque ligne comprend au moins 165 caractères. Ces 165 caractères definissent des variables (déterminées selon un référentiel officiel).
J'affecte à mes variables, la valeur qui leur reviennent par l'intermediaire d'un substr() grace à un script php.
J'enregistre ensuite dans ma base de donnée (phpmyadmin)
Mon souci est le temps de traitement: plusieurs minutes de traitement.

Je ne peux pas faire un "LOAD DATA INFILE" en sql car mon fichier (qui ressemble à une table) n'est pas de type "Forme Normale 2" format que je dois obtenir après traitement. Je dois obtenir à la fin 3 tables differentes réliées par des clés.

Comment faire pour diminuer ce temps de traitement ?
Le substr() dans php est il adapté ?
Dois je reprendre le tout et essayer de faire des substr en sql:
remplir une premiere table en chargeant initialement toutes mes lignes, puis traiter ces lignes avec des substr sql pour 'peupler' les variables de mes 3 tables définitives ?
Merci de vos réponses.