Discussion :

[zaboug]

Bonjour,

je travaille sur un iMac dans un labo de Bioinfo. Pour mes "expériences", je dois faire tourner un programme propriétaire qui n'est pas compilé pour Mac.

Quand je n'avais pas d'iMac, je faisais tourner ce programme et les scripts associés sur un PC portable sous Linux Suse.
Depuis que j'ai un iMac, je tente de faire exactement la même chose mais en faisant tourner le programme sur une machine Virtuelle (j'ai installé Ubuntu). Le script tourne bien, mais il génère un fichier de plus de 300Go en ayant traité même pas 1/10ème des fichiers qu'il doit traiter (après je stop le script) alors que sur le PC traitait tout et générait un fichier final de 630Mo !!

Je précise que le fichier est directement généré dans un dossier de partage, et que j'ai créé la machine virtuelle via virtualBox.


En comparant le début du fichier généré par la machine virtuelle et le début du fichier généré sur PC, je viens de remarquer qu'il y a une suite de :

@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^

après un saut de ligne (disons que mon fichier est une suite de blocs, je trouve ces caractères bizarres entre deux blocs...)

Savez vous d'où peuvent venir ces caractères alors que c'est exactement le même script qui génère les deux fichiers, l'un sur PC, et l'autre sur une machine virtuelle ?

[zaboug]

petite précision : les caractères "^@^@^@" ne sont pas visible sur un éditeur de texte, mais ils apparaissent dans la console en utilisant la commande more...

j'ai regardé le nombre de lignes obtenues sur un éditeur de texte et via la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wc -l ../resultats/Match_tri_FT_human-c1.txt /

et je trouve le même nombre de ligne.

Par contre, j'ai regardé la taille de la plus grande ligne avec la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wc -m ../resultats/Match_tri_FT_human-c1.txt /

j'obtiens 19140

comme sur un éditeur de texte la plus grande ligne ne semblait pas si grande, j'ai copié la partie contenant la plus grande ligne dans un nouveau fichier (en ne prenant aucun saut de lignes où sont censé se trouver les caractères en trop), et j'ai utilisé la commande wc -m dessus.
Cette fois j'obtiens 1064.

ça nous montre que les lignes de ^@^@^@ est énorme (logique vu la taille qu'elles prennent dans mon fichier. Mais ça n'explique pas comment ces lignes arrivent là...

[zaboug]

en tapant la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

od -c ../resultats/Match_tri_FT_human-c1.txt > ../Tmp/res_commande_od-c.txt

j'ai pu voir que ce que je voyais sous forme de "^@^@^@^@^@^@" avec la commande "more", est en fait une suite de "\0\0\0\0\0\0\0\0"

mais je ne trouve pas à quoi correspond \0?

[vpourchet]

\0 c est les retour à la ligne non ?

aussi appelé caractere de fin de chaine en C

[zaboug]

Bon, j'ai testé mon programme sur différentes machines virtuelles Linux(ubuntu 8.04 LTS, Ubuntu 9.04, Fedora 10), et le problème est toujours là. Je vais tenté d'installer une machine virtuelle Suse vu que c'est sur un système suse que j'ai obtenu les résultats sans problèmes sur PC...

J'ai pas spécialement envie de me lancer dans des tests sur Windows

Personne ne sait d'où pourrait provenir ce problème???

La génération du fichier se fait par un script Perl en plusieurs fois, donc il y a plusieurs fermetures puis ouvertures en écriture (en ajout) du fichier. Les caractères intrus sont ajoutés à chaque réouverture du fichier.
Personne n'a une idée d'où ça pourrait venir???? Je commence un peu à désespérer là...

[zaboug]

\0 c est les retour à la ligne non ?

aussi appelé caractere de fin de chaine en C

Je connais pas le C. En perl, les retours à la ligne c'est "\n"...
Et si c'est juste des retours à la ligne, pourquoi ils n'apparaissent pas dans un éditeurs de texte normal, et pourquoi ils ajoutent un poids fou au fichier?
Je dis pas que c'est pas ça (vu que j'en sais rien), mais ça me parait bizarre qu'un simple retour à la ligne est un effet pareil sur un fichier...

[zaboug]

ça y est, le problème est résolu !!!

j'ai trouvé la réponse en postant sur le forum de VirtualBox : http://forums.virtualbox.org/viewtopic.php?f=3&t=18112

En fait, le problème venait du fait que je faisais tourner mon programme directement dans le dossier de partage entre l'hôte et la machine virtuelle. Visiblement, ça lui plaisait pas du tout et il ajoutait les caractères à chaque réouverture du fichier.
On contourne le problème en copiant les fichiers nécessaires sur la machine virtuelle et en faisant tourner le script directement sur la machine virtuelle. Tout simplement