Supplantation DB par fichier plat.
Salut tout le monde.
J'aurai besoin de votre expertise et de votre expérience en c# pour m'orienter.
J'ai un projet en c# consistant à faire des lectures/traitements/écritures en base de donnée. (on tourne autour de 6 000 000 de lignes d'enregistrements)
Alors que le projet est presque terminé, il y a un changements de cap.
Je vais devoir passer par des fichiers plats au lieux des BDD.
Mon problème change donc, puisque après avoir optimisé le programme pour passé de six jours de traitements à 30 min, je dois tout laisser tomber pour recommencer. Et je ne sais pas si je peux retrouver l'équivalent.
Avant tout, je fait ma méa culpa s'il y a des questions trop simple, je me suis mis au c# que depuis un mois.
Quelles sont les méthodes les plus rapide de lecture et d'écriture dans un fichier ?
Comment donner un comportement type BDD à un fichier, faire un unload du BDD ?
Dans beaucoup de langage on peut crée un fichier liées au fichier de donnée définissant la structure d'une ligne avec ordre/nom/type/taille
des variable par ligne.
Peut-on écrire des "lignes multiples" en une fois ?
( L'équivalent de
Code:
1
2
3
4
5
6
|
INSERT INTO table (column1, column2)
SELECT value1, value2 FROM DUAL UNION ALL
SELECT value1, value2 FROM DUAL UNION ALL
...etc...
SELECT value1, value2 FROM DUAL ; |
en oracle)
Cela m'avais permis de diviser mon temps de traitements par 8.
Pour ne pas trop rallonger la liste des questions, en synthétisant, je voudrais avoir un fichier avec un comportement similaire aux BDD (ordre/nom/type/taille des variables) et avec les meilleurs perfs.
