Suppressions colonnes avec AWK

Bonsoir,

J'aurai besoin d'une aide avec AWK, des personnes habitués à ces commandes (ce n'est pas du tout mon cas) devraient pouvoir m'aider facilement.

Je dispose d'un fichier de données avec 20000 colonnes renseignées.
Je voudrais supprimer les colonnes 5000 à 14999 et recréer un nouveau fichier de 10000 colonnes (les 4999 premières ne changent pas, les colonnes 5000 à 10000 correspondent aux 15000 à 20000 du fichier source).

Quelle syntaxe AWK dois-je utiliser ?

Merci d'avance pour votre aide.

Bonjour

Déjà avant d'utiliser awk t'as cut qui est spécifiquement fait pour ça: cut -f1-4999,15000- -dx fichier >fichier2, le caractère "x" étant le séparateur de tes colonnes.

Si maintenant tu veux vraiment utiliser awk (qui est fait pour d'autres travaux bien plus difficiles mais qui, bien évidemment, est lui-aussi capable de faire ça): awk -Fx -vsep=x '{for i=1; i <= NF; i++) { if (i >= 5000 && i <= 14999) continue; printf("%s%s", $i, sep)} printf("\n")}' fichier >fichier2 avec toujours "x" (ici écrit deux fois) à remplacer par ton séparateur...

Merci beaucoup Sve@r !
Grand moment de solitude de mon côté ... :o)


Donc si j'ai bien suivi (je ne pourrais tester que demain) ...

Imaginons que j'ai un fichier XXX.txt avec 1 ligne du genre "abcdefgh".
Si je fais "cut -f1-4,6- XXX.txt > YYY.txt", est-ce que je vais avoir dans YYY.txt "abcfgh" ?
(j'ai un vrai doute avec l'option du séparateur, en fait il n'y a pas de séparateur dans mon fichier).

Est-ce que dans mon cas :
"cut -c 1-3 XXX.txt > YYY.txt"
"cut -c 6-8 XXX.txt >> YYY.txt"
ne fonctionnerait pas mieux ?

Encore merci !

Citation:

---

Envoyé par chavi

(j'ai un vrai doute avec l'option du séparateur, en fait il n'y a pas de séparateur dans mon fichier).

---

Il faillait le préciser, quand on parle de colonnes et d'awk, il s'agit normalement de champs séparés par quelque chose.

Dans ton cas, ceci devrait le faire:

Code:

---

cut -c 1-4999,15000-

---

Salut,

Citation:

---

Envoyé par chavi

Imaginons que j'ai un fichier XXX.txt avec 1 ligne du genre "abcdefgh".

---

En lisant ça, j'ai de sérieux doutes sur l'existence réelle de colonnes :?

Ne parlerait-on pas simplement de lignes ???

Citation:

---

Envoyé par chavi

(j'ai un vrai doute avec l'option du séparateur, en fait il n'y a pas de séparateur dans mon fichier).

---

Alors fallait pas parler de colonnes !!!

Citation:

---

Envoyé par chavi

Est-ce que dans mon cas :
"cut -c 1-3 XXX.txt > YYY.txt"
"cut -c 6-8 XXX.txt >> YYY.txt"
ne fonctionnerait pas mieux ?

---

Tu auras alors les 3 premiers caractères de chaque ligne... puis en dessous la suite des caractères de chaque ligne. Ce n'est pas ce que tu as demandé dans ton premier post...

Oui Sve@r, tu as raison, la bonne solution c'est ce que Jlliagre a écrit.
Je parle de colonnes car j'exploite des fichiers à champ fixe, et donc sans séparateurs (quand je regarde les commentaires, j'ai l'impression d'être un martien avec ce genre de format). Il n'y a pas vraiment de "champ" dans les fichiers que j'exploite.

Encore merci à vous.

Citation:

---

Envoyé par chavi

Je parle de colonnes car j'exploite des fichiers à champ fixe, et donc sans séparateurs (quand je regarde les commentaires, j'ai l'impression d'être un martien avec ce genre de format).

---

On dirait des fichiers COBOL. Ca fait au-moins 15 ans qu'on ne les utilise plus (sauf peut-être dans les banques qui fonctionnent encore au COBOL mais même là j'en doute avec les possibilités de connexions COBOL/bdd comme DB2...)

Non en fait ce sont des données issus de logiciels de "scripting" (Quancept, Confirm-it, Voxco, MrDimensions etc etc ...).

Ces fichiers en sortie ont des formats bien précis, ils peuvent être en Access, Excel etc ... Mais pour les exploiter plus facilement, on utilise des fichiers ASCII à champ fixe associé à un script, en général SSS (triple-s : http://www.triple-s.org/).

Citation:

---

Envoyé par chavi

quand je regarde les commentaires, j'ai l'impression d'être un martien avec ce genre de format.

---

Non non, pas du tout, mais 20000 colonnes, ça doit faire un sacré tas de cartes perforées ... :aie:

@jlliagre : je crois qu'il va falloir que j'explique ma problématique entièrement (parce que mon fichier est beaucoup plus long que 20000 colonnes !) :)
A priori, il y a beaucoup d' "ingénieurs Systèmes" ici, de mon côté je suis surtout un utilisateur de ces systèmes, totalement autodidacte concernant Unix/Linux d'où certaines faiblesses sur certaines fonctions.
Pour les gens comme moi qui faisons du traitement de données, on est assez habitué à gérer d'assez gros fichiers.

Donc pour ma problématique ...
En fait j'ai reçu un 1er fichier de données, 4000 lignes, 14000 colonnes (champs fixes, pas de séparateurs etc etc ...)
Malheureusement le format de tout un bloc de variables ne convient pas à mon client et le plus simple pour moi était de demander à mon fournisseur de fichiers un autre format de ces variables.
Et là mon "gentil" fournisseur m'a envoyé un joli fichier de 4000 lignes et ... 77000 colonnes ! 8O

Mon logiciel de traitement a réussi à fusionner mon fichier source avec le nouveau fichier mais après exploitation, je me suis rendu compte que le logiciel lisait bien le début des infos fusionnées, puis d'un seul coup ... plus rien, il ne lit plus. Probablement une limite logicielle (on ne fait jamais de trucs aussi gros habituellement).

La fusion "énorme" ne marchant pas correctement, le "CUT" va donc me permettre de créer les fichiers pour faire plusieurs fusions "moyennes".

Bonjour,

Il a été donné la solution cut, la solution awk, donc il ne manque plus que la solution sed:

Code:

---

1 2	$ echo abcdefgh |sed 's/\(.\{4\}\)\(.\{2\}\)\(.*\)/\1\3/' abcdgh

---

Ce qui dans notre cas donne:

Code:

---

$ sed 's/\(.\{4999\}\)\(.\{10000\}\)\(.*\)/\1\3/' fichier

---

La solution awk précédemment proposée ne correspondant en fait pas au besoin, en voici une qui va bien :

Code:

---

awk 'BEGIN {FIELDWIDTHS = "4999 10000 5000" } {print $1 $3}'

---

Merci flodelarab :lol:
Je garde en réserve aussi cette solution.

Et je vous dis à tous demain celle que j'aurais utilisé !

Citation:

---

Envoyé par chavi

En fait j'ai reçu un 1er fichier de données, 4000 lignes, 14000 colonnes (champs fixes, pas de séparateurs etc etc ...)
Malheureusement le format de tout un bloc de variables ne convient pas à mon client et le plus simple pour moi était de demander à mon fournisseur de fichiers un autre format de ces variables.
Et là mon "gentil" fournisseur m'a envoyé un joli fichier de 4000 lignes et ... 77000 colonnes ! 8O

---

Tu n'as pas précisé à ton fournisseur ce que tu voulais ? Et comment 14000 colonnes deviennent 77000 ? Il a rajouté des infos ou il a rajouté de la "fioriture" entre les infos originelles ?

Citation:

---

Envoyé par chavi

La fusion "énorme" ne marchant pas correctement, le "CUT" va donc me permettre de créer les fichiers pour faire plusieurs fusions "moyennes".

---

Donc bref le premier fichier ne convient pas, le second non plus donc de guerre lasse tu te décides à faire ce qu'on fait tous ;) tu adaptes le fichier fourni à ton propre format. Tant qu'à faire, autant alors prendre le premier fichier (celui à 14000 colonnes)...

Citation:

---

Envoyé par chavi

Et je vous dis à tous demain celle que j'aurais utilisé !

---

Ce n'est pas parce tous les geek du fofo 8-) y sont allés de leurs solutions que toutes sont bonnes à prendre. C'est comme dans la vraie vie: n'importe quel outil est capable d'enfoncer un clou dans un mur mais c'est généralement plus facile si on utilise l'outil spécialement dédié à ce travail...;)

Bonjour,
Juste une question: est-ce que tu as des caractères accentués dans ce que tu appelles tes colonnes ou plus généralement, tes données sont en quel format (UTF8,ASCII,...) ?
Ceci peut avoir sont importance pour le sed, le cut, ...

Bon, et puis pour le fun, une version BUILT-IN (bash), à n'utiliser que dans des cas bien plus complexe que ton cas:

Code:

---

while read ; do echo ${REPLY:0:4998} ${REPLY:14999} ; done <fichier.txt

---

Pour ma part, si tes fichiers sont vraiment volumineux (au moins le giga), je testerais la version cut et awk pour voir laquelle est la plus rapide (en principe, cut devrait gagner mais des fois, on peut être surpris :) )

Une version vi:

Code:

---

1 2 3 4

vi fichier :map K 5000l10000xj0K K ZZ

---

;)

Citation:

---

Envoyé par jlliagre

Code:

---

:map K 5000l10000xj0K

---

;)

---

Je ne savais pas qu'on pouvait mettre le caractère mappé dans le map (j'avais jamais essayé en fait). Toutefois moi je mettrais le "0" en début d'instructions. Après-tout, quand on initialise, c'est au début et non à la fin non ? Surtout si l'utilisateur commence par se déplacer avant d'appeler le "K"...

Citation:

---

Envoyé par Sve@r

Je ne savais pas qu'on pouvait mettre le caractère mappé dans le map (j'avais jamais essayé en fait).

---

Oui, un vi standard (Unix) refuse les macros récursives, du moins celles qui le sont de manière trop évidente. Il aurait de toute façon probablement refusé des lignes de 14000 colonnes qui ne sont pas POSIX (une ligne de texte de plus de 2048 caractères n'est pas portable).

Citation:

---

Envoyé par Sve@r

Surtout si l'utilisateur commence par se déplacer avant d'appeler le "K"...

---

Pas faux, mais si l'on suit mon exemple à la lettre, le curseur est bien positionné au début du fichier.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

# /bin/bash -f   ####### début command CUT ######## date echo "METHODE CUT jlliagre" cut -c 1-7,22530-33782 319444_data.txt > Q23_63_93.dat #echo "7 12000" > Q23_63_93.fet #sort +0.0 -0.7 Q23_63_93.dat >> Q23_63_93.fet date ####### fin command CUT ########   date echo "METHODE SED Flodelarab" cat 319444_data.txt | sed 's/\(.\{7\}\)\(.\{22522\}\)\(.\{11253\}\)\(.*\)/\1\3/' > Q23_63_93_SED.dat date     date echo "METHODE AWK jlliagre" awk 'BEGIN {FIELDWIDTHS = "7 22522 11253" } {print $1 $3}' > Q23_63_93_AWK.dat date

---

Je viens de tester les méthodes que vous m'avez envoyés.
En temps machine, le CUT a mis 3-4 secondes à tourner, le SED ... 45 minutes (environ, j'ai pas été au bout mais il remplissait mon fichier à hauteur de 1Mo/Min) et le AWK ... ne me fait rien du tout (pas de message d'erreur mais le fichier en sortie reste désespérément vide. J'ai du faire une erreur de syntaxe).


Enfin je viens de tenter avec VI ":map 7l22522xj0K". Ca fait pas tout à fait la même chose que les autres (si j'ai bien compris, là, il garde de la colonne 22530 à la fin du fichier).
A priori c'est très long ! (j'ai stoppé le process, je réessaierai sur 2 lignes :) !)

Je suis utilisateur quotidien de VI et j'ignorais totalement cette fonction "map".


J'ai donc eu la bonne idée de produire mes fichiers avec CUT.

Je me dois donc de tous vous remercier pour cette aide. Je vais rester un lecteur assidu de ce forum dans lequel je vais apprendre beaucoup de chose. :D

Sous quel OS ?
Avec un fichier de combien de lignes/colonnes ?

Citation:

---

Envoyé par chavi

Code:

---

echo "METHODE CUT jlliagre"

---

---

Ouais, parce que Sve@r, lui, il croyait bêtement que "colonnes" signifiait "colonnes" !!!

Citation:

---

Envoyé par chavi

Code:

---

1 2 3

echo "METHODE AWK jlliagre" awk 'BEGIN {FIELDWIDTHS = "7 22522 11253" } {print $1 $3}' > Q23_63_93_AWK.dat date

---

...et le AWK ... ne me fait rien du tout (pas de message d'erreur mais le fichier en sortie reste désespérément vide. J'ai du faire une erreur de syntaxe).

---

Mouais. Ou bien oublié de lui donner un fichier à bouffer !!!

Citation:

---

Envoyé par chavi

Je suis utilisateur quotidien de VI et j'ignorais totalement cette fonction "map".

---

Très pratique. Permet de créer d'autres commandes sur une touche non utilisée (ou bien même si on veut aussi sur une touche déjà utilisée) à partir d'actions connues (un peu l'équivalent d'une macro sous Excel).

Citation:

---

Envoyé par jlliagre

Sous quel OS ?
Avec un fichier de combien de lignes/colonnes ?

---

Au TAF je suis sous Linux (RedHat si j'ai bonne mémoire, mais j'irais vérifier).
Et pas toujours avec des fichiers démentiels comme ici ! :D

Citation:

---

Envoyé par Sve@r

Ouais, parce que Sve@r, lui, il croyait bêtement que "colonnes" signifiait "colonnes" !!!

---

Arrgh ... Désolé Sve@r ! Oui, tu m'as bien aidé, c'est évident.

Citation:

---

Envoyé par Sve@r

Mouais. Ou bien oublié de lui donner un fichier à bouffer !!!

---

Oui en effet ... :ptdr:

Citation:

---

Envoyé par Sve@r

Très pratique. Permet de créer d'autres commandes sur une touche non utilisée (ou bien même si on veut aussi sur une touche déjà utilisée) à partir d'actions connues (un peu l'équivalent d'une macro sous Excel).

---

Avec VI, j'utilise pas mal de fichiers regroupant de nombreuses commandes (les "sources" appelés via ":so fichier").
Tous mes collègues me prennent pour un fou avec cet éditeur ... :D

Citation:

---

Envoyé par chavi

Et pas toujours avec des fichiers démentiels comme ici ! :D

---

Démentiels, c'est combien de lignes et combien de colonnes ?

Citation:

---

Envoyé par chavi

Avec VI, j'utilise pas mal de fichiers regroupant de nombreuses commandes (les "sources" appelés via ":so fichier").
Tous mes collègues me prennent pour un fou avec cet éditeur ... :D

---

[TROLL ON]
Dans ce cas, il vaudrait mieux que tu passes à emacs!
[TROLL OFF]