Discussion :

[dedalios]

Bonjour,

Je un fichier format UNIX : sur une seule ligne.
Je cherche a insérer dans ce fichier tous les 128 caractères un caractère "\r" pour avoir un fichier de x ligne chacune d'une longueur de 128 caractère + ce caractère de fin de ligne.
Le nombre de caractère du fichier est toujours un modulo de 128.
lorsque j'utilise la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

fold -w 128 mon-fichier

l'insertion n'est pas parfaite certaine ligne font plus de 128caractères.
Le problème est probablement lié aux caractères codé laissant apparaitre des qui semble pertuber le process de fold.

Je cherche une solution a ce problème.

Je pensais à une boucle de lecture caractère par caractère avec un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

do while

et est une extraction du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 newligne = 'echo $ligne | cut 1-128'

.

Je n'ai aucun langue de haut niveau disponible , seul solution les commande AIX de base

[BufferBob]

salut,

je réponds un peu au pied levé (pas testé ni rien), est-ce qu'un truc comme ça fonctionne par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -r 's/(.{128})/\1\n/g' fichier

[dedalios]

Voici le résultat

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -r 's/(.{128})/\1\n/g' fichier

sed: illegal option -- r

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed  's/(.{128})/\1\n/g' fichier

sed: Function s/(.{128})/\1\n/g cannot be parsed.

[BufferBob]

sed: illegal option -- r

effectivement, au temps pour moi

l'insertion n'est pas parfaite certaine ligne font plus de 128caractères.
Le problème est probablement lié aux caractères codé laissant apparaitre des qui semble pertuber le process de fold.

en fait je ne suis pas certain de comprendre, tu aurais un exemple concret éventuellement (et le résultat que tu attendrais si tout se passe bien) ?

[dedalios]

effectivement, au temps pour moi


en fait je ne suis pas certain de comprendre, tu aurais un exemple concret éventuellement (et le résultat que tu attendrais si tout se passe bien) ?

voici ce qui peut pauser problème " �¯
yåètœHG Œ9" impossible de mettre d'autre information.

Le fichier est un fichier d'une seule ligne contenant des éléments qui ne sont pas des caractères ascci. pour autant j'ai besoin d'injecter tous les 128 caractères une fin de ligne
et je ne dispose que des ressources UNIX de base .

[dedalios]

effectivement, au temps pour moi


en fait je ne suis pas certain de comprendre, tu aurais un exemple concret éventuellement (et le résultat que tu attendrais si tout se passe bien) ?

voici ce qui peut pauser problème " �¯
yåètœHG Œ9" impossible de mettre d'autre information.

Le fichier est un fichier d'une seule ligne contenant des éléments qui ne sont pas des caractères ascci. pour autant j'ai besoin d'injecter tous les 128 caractères une fin de ligne
et je ne dispose que des ressources UNIX de base .


je pensez a quelque chose de l'ordre de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
while read ligne
	do
		idligne=`echo $ligne | cut -c 1-128`
    echo  $idligne  >> ${FIC_SQL}
	done < $FIC_IN

[disedorgue]

Bonjour,

Ton principal problème c'est que tu dois connaitre la locale utilisée pour la transcription de ta ligne.
Exemple possible par exemple si tu es en fr_FR.utf8:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LC_ALL=fr_FR.utf8 awk '{L=length($0);i=1;while(i<L){S=substr($0,i,128);print S;i=i+128}}' fichier

mais tu peux déjà essayer avec ta configuration de local par défaut (car la commande fold ne tient pas compte de la locale, elle gère des octets et non des caractères (qui eux, peuvent être encodés sur plusieurs octets) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{L=length($0);i=1;while(i<L){S=substr($0,i,128);print S;i=i+128}}' fichier

Bon après, le awk ici, ne fonctionne peut-être pas sur ton AIX....
Si c'est le cas, peux-tu utiliser perl, par exemple, qui lui est à peu près similaire sur toutes les plateformes unix ?

[BufferBob]

la commande fold ne tient pas compte de la locale

effectivement c'est bon à savoir

par contre t'es sûr pour substr() que ça prend en compte les caractères étendus et pas les octets ?

sinon Perl effectivement, un truc du style s/\X{128}/\1\n/ doit pouvoir faire le job

[disedorgue]

Bah, je me base sur le awk de Gnu, car j'en ai pas d'autre sous la main et encore moins celui de AIX:

Gawk is multibyte aware. This means that index(), length(), substr() and match() all work in terms of characters, not bytes.

Bon, après le man awk de AIX 7.2 dit:

The awk command is affected by the LANG, LC_ALL, LC_COLLATE, LC_CTYPE, LC_MESSAGES, LC_NUMERIC, NLSPATH, and PATH environment variables.

[dedalios]

je vais tester même si j'ai un doute sur celui-ci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LC_ALL=fr_FR.utf8 awk '{L=length($0);i=1;while(i<L){S=substr($0,i,128);print S;i=i+128}}' fichier

car sur linux

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
file -i fichier
fichier text/plain; charset=us-ascii

je cherche l'option par awk il y a 2 jours merci , le test sur linux est plus prometteur

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{L=length($0);i=1;while(i<L){S=substr($0,i,128);print S;i=i+128}}' fichier

[jlliagre]

On ne peut pas s'en sortir ici avec des utilitaires POSIX car ils sont destinés à traiter des chaines de caractères alors que le fichier contient manifestement du binaire, ou des caractères d'une locale inconnue.

Voici une façon de procéder qui doit fonctionner sous AIX (ainsi que sur n'importe quel UNIX, et sur la plupart des Linux en remplaçant /bin/ksh par /bin/sh) car elle n'utilise que des commandes POSIX, et en particulier la commande "dd" qui est capable d'extraire un bloc de taille et d'offset spécifié :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#!/bin/ksh
file=$1
blockSize=128
tmpFile=$(mktemp||exit)
export LC_ALL=C
PATH=$(getconf PATH):$PATH
 
block=0
 
(
  while true; do
    dd if=$file bs=$blockSize count=1 skip=$block 2>$tmpFile || break
    awk '/^0+/ {exit 1}' $tmpFile || break
    printf "\r"
    printf "." > /dev/tty
    block=$((block+1))
  done
) > ${1}.processed
rm $tmpFile
echo

[dedalios]

En fait fold marche très bien mais le fichier de test ne correspondait pas à la règle ont il est question ici.