Discussion :

[lololebricoleur]

Bonjour,

J'ai besoin d'extraire des données de très gros fichiers SCV (de 3 à 5go) pour les injecter dans des fichier HF.
La fonction FOuvre ne semble pas fonctionner et je suppose que c'est à cause de la taille du fichier car si je test avec un fichier plus petit, ça fonctionne.

Je pensais utiliser FDécoupe mais ça ne marche pas non plus car la coupe se fait à n'importe quel endroit du fichier et pas forcément en fin de ligne. Du coup, je ne peux pas gérer les données correctement.

Avez vous un moyen ou une astuce pour ce genre de cas svp ?

Merci de votre aide

[serendib]

En le transformant en XLSx, non ?
Avec les fonctions excel qui vont bien.

[Voroltinquo]

Bonjours,
HImporteTexte peut être ?
fChargeTexte risque peut être d'avoir le même effet que fOuvre, mais c'est à tenter aussi...

[tbc92]

Il y avait une limite des systèmes d'exploitation, ils étaient incapables de traiter les fichiers de plus de 2Go. A priori le pointeur qui dit 'on va lire x octets à partir de telle adresse) ne pouvait pas dépasser 2Go.

Que dit la fonction ErreurInfo(ErrMessage) ?


Arrives-tu à ouvrir ce fichier avec d'autres outils ?

[frenchsting]

Bonjours,
HImporteTexte peut être ?
fChargeTexte risque peut être d'avoir le même effet que fOuvre, mais c'est à tenter aussi...

Bonjour,

je me souviens que fchargetexte était limité à 2 Go. est-ce toujours le cas ? Si tu fais un projet en 64 bits ?

Pour le fdecoupe, c'est une bonne idée. Tu pourras utiliser le fchargetexte et trouver "la dernière ligne", c'est-à-dire celle qui n'a pas de RC et coller avec la première ligne du fichier suivant...

[philouZ]

Bonjour,

Pour le fOuvre(), tu as utilisé quoi comme option ?

Je vois qu'il y a foAccèsSéquentiel, peut-être que ça évite d'avoir à charger le fichier... Je n'ai fait aucun essai mais ça me paraîtrait logique.

[Voroltinquo]

Je n'ai fait aucun essai

D'autant plus qu'un fichier de cette taille il faut le trouver. Ce qui s'en rapproche le plus c'est le fichier FANTOIR (avec AN) nationnal

[philouZ]

Merci Voroltinquo, je ne connaissais pas ce fichier.

Du coup j'ai fait un essai et le fichier est ouvert en une fraction de seconde avec le code suivant

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

fOuvre(frepexe()+"\FANTOIR0120", foLecture+foAccèsSéquentiel)

[Voroltinquo]

je ne connaissais pas ce fichier

Quand on n'a jamais eu à traiter des problèmes de cadastre ou assimilé, c'est logique ...
Le problème c'est qu'il ne fait que frôler le Go (je vais tenter le coup avec 5 ou 6 bout à bout)

[tbc92]

Du coup j'ai fait un essai et le fichier est ouvert en une fraction de seconde

Le temps d'ouverture n'est pas lié à la taille du fichier. L'ouverture déclare un handle sur le fichier, rien d'autre. La lecture se fera par les fonctions fLit() ou fLitLigne() ensuite.

[Voroltinquo]

Tu pourras utiliser le fchargetexte et trouver "la dernière ligne"

Le problème, c'est d'avoir la mémoire qui suit. Avec ma cacahuète (8 Go mais d'autres appli qui tournent,) au mieux j'ai le message 'Mémoire insuffisante", j'ai même eu droit à un reboot sauvage.
Une solution serait peut être dans ce cas d'utiliser l'option Taille et de trouver la dernière ligne comme tu le suggérais

[frenchsting]

C'est pour cela que je parlais de découper le fichier avant avec le fdecoupe(). Si tu fais des tronçon de 100 Mo (c'est déjà pas mal je pense), tu peux utiliser le fchargetexte().

L'intérêt du fchargetexte() est de limiter le nombre d'accès en lecture. Une lecture de 1000 lignes est plus rapide que 1000 lectures d'une ligne. C'est peut-être moins vrai aujourd'hui (machines plus performantes), mais vu la taille du fichier initiale, je pense que ça peut être une bonne idée.

[philouZ]

Le temps d'ouverture n'est pas lié à la taille du fichier. L'ouverture déclare un handle sur le fichier, rien d'autre. La lecture se fera par les fonctions fLit() ou fLitLigne() ensuite.

Soit mais il parle bien de fOuvre()

Perso après la lecture de 863 000 lignes, la RAM est à 4 Mo et il n'ya que le processeur qui tourne. D'un autre côté ça me paraît logique étant donné qu'on ne fait que lire ligne par ligne et que la seule chose qui est chargée en mémoire reste la ligne en cours. On ne charge pas tout le fichier. Donc je ne vois vraiment pas où est le problème au final.

[tbc92]

L'alternative , c'est de passer par des fLit() en lisant à chaque fois 4 ou 5 Mo par exemple.
Tu lis 4 Mo, tu te retrouves avec une chaine de 4Mo.
Tu boucles "Pour toute chaine sch de sch0 séparée par RC"

Tu ne traites pas la dernière ligne parce qu'elle est très probablement incomplète et tu recommences en lisant à nouveau 4 ou 5 Mo.
Et en se débrouillant pour bien lire la ligne oubliée dans le traitement précédent !
Ou concatener le nouveau bloc lu avec la portion de ligne en suspens.

Si tu as besoin que le traitement aille vite, ça vaut le coup de passer du temps à développer cette mécanique.

Mais pour tout ça, il faut que le fOuvre() fonctionne !

[Voroltinquo]

En passant par un buffer ça devrait passer, du style :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
sCheminFichier est une chaîne
bufContenuLu est Buffer
nTailleLue est entier
nTaillelecture est entier
nPositionEnCours est entier
cDernierCaractèreLu est un caractère
nPositionDernierCR est entier
bufContenuTravail est Buffer
 
nValJauge est un entier
nJaugeMax est un entier
 
sCheminFichier=fSélecteur("", "", "Sélectionnez un fichier.....", "fichier csv" + TAB + "*.csv", "*.csv", fselOuvre)
nJaugeMax=fTaille(sCheminFichier)
 
nTaillelecture=10000
nTailleLue=nTaillelecture
TANTQUE (nTailleLue=10000) ET (cDernierCaractèreLu<>EOT) //Le coup de pas de chance, la taille du fichier est un multiple de la taille de lecture
	bufContenuLu=fChargeBuffer(sCheminFichier,nPositionEnCours,nTaillelecture)
	nTailleLue=Taille(bufContenuLu)
	nValJauge=nValJauge+nTailleLue
	Jauge(nValJauge,nJaugeMax)
	cDernierCaractèreLu=bufContenuLu[nTailleLue]
	SI cDernierCaractèreLu<>EOT ALORS
		nPositionDernierCR=Position(bufContenuLu,CR,0,DepuisFin) //à vérifier pour le CR, certains csv utilisent LF et d'autres CRLF
		bufContenuTravail=Gauche(bufContenuLu,nPositionDernierCR) //Vérifier le + ou -1
		nPositionEnCours=nPositionEnCours+Taille(bufContenuTravail) //On crée la prochaine position de lecture
	SINON   //On arrive à la fin
		bufContenuTravail=bufContenuLu
	FIN
	//Traitement du buffer
FIN

Avec une petite cacahuète (4GO) et en 32bits, pas de pb mémoire pour la lecture

[frenchsting]

Bonne idée le coup du buffer, ça fait le découpage virtuellement.

[Voroltinquo]

ça fait le découpage virtuellement.

On a surtout la possibilité de choisir l'endroit du début de la lecture, contrairement à fDécoupe.
Çà évite d'avoir à traiter les "bouts de ligne".

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
Je recupère ma fin de ligne
je traite mon fichier découpé
Je lit le fichier suivant
je récupère mon début de ligne
Je traite ma ligne orpheline

[frenchsting]

Oui. En plus il n'y a pas l'écriture de tous les morceaux de fichiers.

[lololebricoleur]

Bonjour,

Tout d'abord, désolé d'avoir lancé cette discussion sans l'avoir suffisamment suivie.
Merci de toutes les infos et réactions.

J'ai avancé :
- Le FOuvre ne pose pas de problème en fait. A priori, je confirme (merci Lo²) que le FOuvre ne charge pas le fichier, il ne fait que ouvrir l'accès.
- Mon soucis venait du FLitLigne que je faisais ensuite car mon fichier utilise la "LF" comme séparateur de ligne. Et faute de l'avoir indiqué dans mon dans ma fonction FLitLigne (merci Lo²), c'est tout le fichier qui était lu. "LF" = ASCII 10
- Donc, à se stade, ça progresse.
- Sauf que quand je lance le traitement, la récupération des données se fait sur environ 1 000 000 de lignes en gros (c'est variable) et bim, Windev plante. "Windev à cesser de fonctionner"

Donc je suis pas loin du but mais il y a un truc qui merde.
Je vais tester la lecture des lignes sans l'écriture dans les fichiers HF pour essayer de savoir quelle opération pose problème.

[lololebricoleur]

Je viens de lancer un test avec lecture des lignes du fichier mais aucune écriture dans le fichier de donnée HF.

Pas de bug donc :
- Le FOuvre gère parfaitement les gros fichiers
- Ma boucle et mon FLitLigne fonctionnent bien

Le problème vient de l'écriture