Comment écrire dans un fichier au delà de 2Go

[nkki_nkki]

Bonsoir tout le monde,

Je suis sur une plate forme Fedora Core 6 , je travaille sur un script (en PHP) pour générer des fichiers sql afin d'alimenter une base de données.
le problème est le suivant : dès que mon fichier dépasse les 2 GO, j'ai un message d'erreur : débordement de la taille permise pour un fichier.

On m'a dit que c'est à cause du système de fichier et que le pointeur de php pour lire et ecrire les fichiers est en 32 bits...(je suis sur une partition ext3)

sur windows ça tourne comme il le faut...!!!

Existe t-il des solutions pour compiler php pour la même chose (se positionner
et eventuellement écrire à l'interieur d'un fichier au dela de 2Go)?

Note : mes fichiers vont jusqu'à 6Go et des poussières.

merci

[Shugo78]

Et en spécifiant la taille max d'un fichier comme ça :

Code :

1
2
 
innodb_data_file_path = /ibdata/ibdata1:100M:autoextend:max:7000M

ça marche pas ?

[edit] Essaye de regarder le contenu de ces fichiers car Sous Unix, mysqld lit les options dans les fichiers suivants :

Code :

1
2
3
4
5
 
/etc/my.cnf Options globales. 
COMPILATION_DATADIR/my.cnf Options spécifiques au serveur. 
defaults-extra-file Le fichier spécifié avec --defaults-extra-file=... . 
~/.my.cnf User-specific options.

[gorgonite]

c'est un problème de php... perso, ça me le fait quand j'essaie de lire un fichier d'une taille supérieure à 2,xxx Go (le coup de la taille en 32 bits signé sans doute )

es-tu obligé de passer par php pour un tel traitement ?

[Shugo78]

Sous windows la taille max des fichiers n'est pas de 2 Go mais sous unix/linux si....
La solution de gorgonite a du bon, es-tu obliger de passer par PHP pour ce genre de choses ?

[gorgonite]

Envoyé par Shugo78

Sous windows la taille max des fichiers n'est pas de 2 Go mais sous unix/linux si....

sous unix, ce n'est pas le cas non plus... à moins tu veuilles dire que les serveurs contenant les distributions en dvd soient sous windows

[Shugo78]

sous unix, ce n'est pas le cas non plus... à moins tu veuilles dire que les serveurs contenant les distributions en dvd soient sous windows

D'abord, je ne pense pas que Les disrtibutions en DVD soit en un seul fichier de plus je parlais des fichier de données qui doivent être inférieure à 2Go sur certains systèmes d'exploitation notament Unix/Linux.

[gorgonite]

Envoyé par Shugo78

D'abord, je ne pense pas que Les disrtibutions en DVD soit en un seul fichier de plus je parlais des fichier de données qui doivent être inférieure à 2Go sur certains systèmes d'exploitation notament Unix/Linux.

et leur image iso, elle contient bien tout le dvd ?

[Shugo78]

Envoyé par gorgonite

et leur image iso, elle contient bien tout le dvd ?

Euh... oui mais lis la suite de mon message.

[gorgonite]

Envoyé par Shugo78

Euh... oui mais lis la suite de mon message.

ce qui se conçoit bien s'énonce clairement, et tu as dit

je ne pense pas que Les disrtibutions en DVD soit en un seul fichier

pourtant lorsqu'elles sont sont format iso pour le dvd, on a bien un unique fichier qui fait plus de 2Go


pour avoir étudier ce problème qui arrive "fréquemment" lors de transferts de gros fichiers par ftp, ou dans la lecture de ces mêmes fichiers par php, c'est le fait d'avoir utilisé un entier signé pour accéder au fichier qui pose problème...

pour les limites dues au système de fichiers, regardes ceci
http://www.novell.com/documentation/...ml/apas04.html

tu verras que le problème ne vient pas d'unix en soi, mais des programmes qui accèdent au fichier

[Shugo78]

autant pour moi, on en apprend tout les jours .

[nkki_nkki]

Tout d'abord je vous remercie pour vos réponses....
En ce qui concerne mon passage par PHP pour créer ce genre de fichier : Hélas oui....je suis obligé
Pour l’ instruction “innodb_data_file_path” je vois pas pourquoi ?? sachant que ce n'est pas au moment de l'insertion des données dans ma base mais bien avant . Mon script ne fait que creer le fichier sql...

[Shugo78]

Ca spécifie la taille max d'un fichier de données.

[Celelibi]

Shugo78, ce que nkki_nkki veut dire c'est que le sgbd n'est pas encore en utilisation, là il ne fait que stocker ses données dans un fichier.

De plus, comme cela à été évoqué, le système d'exploitation n'impose aucune limite de taille des fichiers, par contre le système de fichier ou l'application peut en imposer une.


Pour commencer il faut savoir d'où vient la limite. Donc, quelle est la version du noyau ? quelle est le système de fichier ?
Si la limite vient de php, il faut voir si y'a moyen de la relever, sinon, la solution la plus simple est de découper tes données en fichiers plus petits.
Ou bien générer ton fichier en utilisant des commandes système si c'est possible.

[Katyucha]

Envoyé par Celelibi

Pour commencer il faut savoir d'où vient la limite. Donc, quelle est la version du noyau ? quelle est le système de fichier ?
Si la limite vient de php, il faut voir si y'a moyen de la relever, sinon, la solution la plus simple est de découper tes données en fichiers plus petits.
Ou bien générer ton fichier en utilisant des commandes système si c'est possible.

Effectivement les anciens systèmes de fichiers ne supportaient pas les "largefiles" mais aujourd'hui, et grand dieu heureusement, cette limite a été repoussé (on serait pas dans la merde avec des dumps d'oracle de plus de 3 Giga... )!
Un moyen facile de le vérifier, c'est de créer un gros fichier avec "dd"

dd if=/dev/zero of=/mon_repertoire/fichier_test bs=2048 count=1000001

Création d'un fichier vide de plus de deux gigas. (évidemment vérifiez que vous avez assez d'espace disque )

[gandalfar]

je pense que la limite vient de php car si je me plante pas la pluspart
des distrib a base de 2.6 n'on pas par default le support for large single
file de compilé dans le noyau ce qui fait que le noyau peut theriquement
travaillé au minimum avec des fichiers allant jusqu a 2 Tb .

Je pense donc que la limite vient de php car l ext3 (et c pour ca que les
gens de bull travaillent sur l ext4) ne suporte pas des fichier de plus d
un unsigned int c'est a dire 4Go si je me rapelle bien mais c 'est quand
meme plus que 2Go.

donc le probleme viendrai bien de php selon moi

[Shugo78]

Envoyé par Celelibi

Shugo78, ce que nkki_nkki veut dire c'est que le sgbd n'est pas encore en utilisation, là il ne fait que stocker ses données dans un fichier.

..... D'accord ....
@ gandalfar : C'est même sur que la limitation vient de PHP...