Discussion :

[chupinours]

Salut,

J'ai un fichier .txt de données énormes à traiter (supprimer des colonnes)
Je voudrais ouvrir le fichier.txt et garder les 8 premières colonnes, ainsi que la 13eme, puis la 16eme, la 21eme, la 24eme, la 29, la 32eme, etc (le nombre de colonnes n'est pas constant selon le fichier) (on avance de 5 ,puis 3 ,puis 5 ,etc).


Toutes les autres colonnes je voudrai les supprimer.

Comment faire? (Avec quel outil)
Un peu comme textscan?

Merci

[Aurélien LEQUOY]

ca peut ce faire en php

[chupinours]

je connais pas le php

[Jerome Briot]

Et si tu nous disais quels sont les langages de programmation ou logiciels que tu maitrises ou bien ceux que tu peux utiliser dans le cadre de ton projet

[chupinours]

Fortran et matlab

[souviron34]

Fortran

Je me souviens plus la syntaxe exacte, mais quelque chose comme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

READ * champs

te lis toute la ligne d'un coup en te plaçant tous les termes dans une table

Il te suffit alors de sélectionner les bons indices...

[prgasp77]

Si tu es dans un environnement linux, un petit coup de awk et puis basta (une ligne de code, pas plus).

[yannoo95170]

Si tu es dans un environnement linux, un petit coup de awk et puis basta (une ligne de code, pas plus).

Je suis moi-aussi tout à fait de cet avis

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{print $1" "$2" "$3" "$4" "$5" "$6" "$7" "$8" "$13" "$16" "$21" "$24" "$29" "$32 }' fichier.txt

[xflr6]

le nombre de colonnes n'est pas constant selon le fichier

Dans ce cas, je propose cette solution awk pas très élégante mais qui fait le job peu importe le nombre de colonnes (mais il ne fait que selon la séquence que tu as demandée: 1-8, et saut de 5,3,5,3...)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
{
   i=0; d1=5; d2=3;
   while( i < 8 && i <= NF ) { i+=1;  printf("%s ",$i);}
   while( i <= NF ) { i+=d1; printf("%s ",$i); dd=d1; d1=d2; d2=dd;}
   printf("\n");
}

[yannoo95170]

On peut aussi y mettre les 2 constantes de sauts 5 et 3 en arguments du script awk si on veut gérer des sauts différents de 5,3,5,3,..

En créant par exemple un fichier supprime_colonne.awk

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
{
   i=0; d1=seq1; d2=seq2;
   while( i < 8 && i <= NF ) { i+=1;  printf("%s ",$i);}
   while( i <= NF ) { i+=d1; printf("%s ",$i); dd=d1; d1=d2; d2=dd;}
   printf("\n");
}

(pas obligatoire mais j'ai tendance à préférer passer par un fichier .awk qui contient le code plutôt que de mettre directement le script awk dans la ligne de commande quand le programme awk fait plus d'une simple ligne)

et de spécifier ces 2 constantes lors de l'appel à awk via le paramêtre -v

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
awk -v seq1=5 -v seq2=3 -f supprime_colonne.awk fichier.txt

[xflr6]

Bonjour,

En effet, dans un script, c'est mieux.
Pas mal du tout le passage des steps en arguments, je n'avais jamais pensé à faire ça dans mes scripts avant, je mettais les paramètres dans le BEGIN...

Bon, j'ai vu que le post original était assez vieux. Depuis juin, j'espère que chupinours est arrivé à ses fins ! avec awk, fortran ou tout autre technique...