Discussion :

[GrosFlamby]

Bonjour à tous,

Voici mon objectif : J'ai un fichier texte brut. Je dois insérer un séparateur (pipe) à intervalles réguliers avec gestion des erreurs (avec un compte rendu).

J'ai donc essayé le fonctionnement suivant :

• décompte des lignes du fichier d'origine,
• décompte des caractères par ligne :
  
  • si le nombre de caractères n'est pas celui attendu on enlève la ligne du fichier et on la colle dans le fichier "analyse" avec son numéro de ligne
  • si le nombre de caractères est correcte, on insert les séparateurs
• Nouveau décompte de ligne et comparaison avec le premier pour connaitre le nombre d'erreurs

L'insertion des pipes fonctionnent bien ainsi que le décompte des lignes.

Le problème que je n'arrive pas à résoudre c'est de couper les lignes défectueuses et les insérer dans un autre fichier (mon code ne fonctionne absolument pas pour cette partie).
Si vous pouviez me donner un petit coup de pouce pour cela se serait sympa.

Ci-dessous le code que j'ai réalisé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#! /bin/awk -f
#! /bin/sed -f
 
wc -l flux.txt >> analyse
 
awk '{
if (length($0) != 13) {
	awk 'NR==$0, NR==$0{print>\"analyse\"} NR<$0||NR>$0}' flux.txt >> flux.txt
		} else {
 
	sed -e '{s/\(.\{33\}\)\(.\{3}\)\(.\{13\}\)\(.\{10\}\)\(.\{4\}\)\(.\{3\}\)\(.\{18\}\)\(.\{1\}\)\(.\{6\}\)/
		\1|\2|\3|\4|\5|\6|\7|\8|\9/}' 
		-e '{s/\(.\{99\}\)\(.\{3\}\)\(.\{1\}\)\(.\{5\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/
		\1|\2|\3|\4|\5|\6|\7|\8|\9/}' 
		-e '{s/\(.\{157\}\)\(.\{15\}\)\(.\{2\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/
		\1|\2|\3|\4|\5|\6|\7|\8/}' flux.txt > resultat_flux.txt 
	}
}
 
wc -l resultat_flux.txt

Merci de votre aide.

[N_BaH]

Bonjour,

mon code ne fonctionne absolument pas pour cette partie

ton script ne fonctionne tout simplement pas du tout.
c'est un "panachage" (?) de langages shell/awk/sed.

fais donc tout en bash !!!
c'est plus lent, mais au moins tu apprendras les mécanismes élémentaires de la programmation shell.
après, tu pourras utiliser des langages plus évolués comme awk.
d'abord le B A BA.

[BufferBob]

salut,

Le problème que je n'arrive pas à résoudre c'est de couper les lignes défectueuses et les insérer dans un autre fichier (mon code ne fonctionne absolument pas pour cette partie).

acté qu'il s'agit d'une question awk,(effectivement comme dit N_BaH c'est un patchwork ton script, ça ne peut pas fonctionner) par "couper" si on entend simplement ne pas les afficher c'est assez simple, s'il s'agit d'en prendre une portion la fonction substr() devrait pouvoir aider, quant à l'ajouter à un autre fichier, une syntaxe du genre print "machin" >> "fichier" est valide

[silfun1]

Salut à tous, Salut GrosFlamby,

Peux tu envoyer un extrait de ton fichier flux.txt ?

Voici un bout de code qui peut t'aider (je ne l'ai pas testé)
ps: je n'ai pas touché à ta commande sed, car tu dis qu'elle fonctionne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
#!/bin/bash
 
# Varaibles
src_filename="flux.txt"
result_file="resultat_flux.txt"
analyse_file="analyse"
tempfile="flux.tmp"
longueur_max=13
 
#Create the analyse file / creation du fichier analyse
echo "" > $analyse_file
#Create the result file / creation du fichier de resultats
echo "" > $result_file
#Create the temp file / creation du fichier temporaire
echo "" > $tempfile
 
#Main action
 
# Read each line of the text file / lit chaque lignes du fichier texte
while read -r line
do
        # get the lenght of the line / recupere la longueur de la ligne
        linesize=${#line}
 
        # Si la longuere de la ligne est superieure Ã*3 (la limite),alors on copie la ligne ds le fichier analyse
        if [ $linesize -gt $longueur_max ]; then
                echo $line >> $analyse_file
        else
                # Sinon on ajoute la ligne dans un fichier temp que la commande sed traitera
                echo $line >> $tempfile
        fi
 
done < "$src_filename"
 
# Insert pipe characters / on insert des caracteres pipes
sed -e '{s/\(.\{33\}\)\(.\{3}\)\(.\{13\}\)\(.\{10\}\)\(.\{4\}\)\(.\{3\}\)\(.\{18\}\)\(.\{1\}\)\(.\{6\}\)/\1|\2|\3|\4|\5|\6|\7|\8|\9/}' -e '{s/\(.\{99\}\)\(.\{3\}\)\(.\{1\}\)\(.\{5\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/\1|\2|\3|\4|\5|\6|\7|\8|\9/}' -e '{s/\(.\{157\}\)\(.\{15\}\)\(.\{2\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/\1|\2|\3|\4|\5|\6|\7|\8/}' $tempfile

Syl

[GrosFlamby]

Merci à tous pour vos réponses.

J'ai suivi vos conseils et j'ai simplifié le code. Maintenant il fonctionne même si ce n'est pas optimal :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
#! /bin/bash
 
wc -l fluxbig.txt >> analyse   # décompte des lignes dans le fichier d'origine
 
egrep -nv '^.{250}$' < fluxbig.txt >> analyse  # envoie des lignes qui ne font pas 250 caractères de long dans le fichier "analyse" avec le numéro de ligne
egrep '^.{250}$' < fluxbig.txt | sed -e '{s/\(.\{33\}\)\(.\{3}\)\(.\{13\}\)\(.\{10\}\)\(.\{4\}\)\(.\{3\}\)\(.\{18\}\)\(.\{1\}\)\(.\{6\}\)/ \1|\2|\3|\4|\5|\6|\7|\8|\9/}' 
		                                    -e '{s/\(.\{99\}\)\(.\{3\}\)\(.\{1\}\)\(.\{5\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/ \1|\2|\3|\4|\5|\6|\7|\8|\9/}' 
		                                    -e '{s/\(.\{157\}\)\(.\{15\}\)\(.\{2\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/  \1|\2|\3|\4|\5|\6|\7|\8/}' flux.txt > resultat_flux.txt     # si la ligne fait 250 caractère, on applique l'insertion du séparateur (pipe) à des intervalles réguliers, puis on envoie le résultat dans le fichier "resultat flux"
 
wc -l resultat_flux.txt >> analyse  # décompte des lignes du fichier généré pour comparer avec e fichier d'origine

Voila voila, je le retravaille pour l'optimiser de temps en temps mais je n'en ai pas toujours le temps.

Je vais tester ta proposition silfun1 et je te tiens au courant.

Merci à tous en tout cas

[GrosFlamby]

Merci à tous pour vos réponses.

J'ai suivi vos conseils et j'ai simplifié le code. Maintenant il fonctionne même si ce n'est pas optimal :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
#! /bin/bash
 
wc -l fluxbig.txt >> analyse   # décompte des lignes dans le fichier d'origine
 
egrep -nv '^.{250}$' < fluxbig.txt >> analyse  # envoie des lignes qui ne font pas 250 caractères de long dans le fichier "analyse" avec le numéro de ligne
egrep '^.{250}$' < fluxbig.txt | sed -e '{s/\(.\{33\}\)\(.\{3}\)\(.\{13\}\)\(.\{10\}\)\(.\{4\}\)\(.\{3\}\)\(.\{18\}\)\(.\{1\}\)\(.\{6\}\)/ \1|\2|\3|\4|\5|\6|\7|\8|\9/}' 
		                   -e '{s/\(.\{99\}\)\(.\{3\}\)\(.\{1\}\)\(.\{5\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/ \1|\2|\3|\4|\5|\6|\7|\8|\9/}' 
		                   -e '{s/\(.\{157\}\)\(.\{15\}\)\(.\{2\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/  \1|\2|\3|\4|\5|\6|\7|\8/}' flux.txt > resultat_flux.txt     # si la ligne fait 250 caractère, on applique l'insertion du séparateur (pipe) à des intervalles réguliers, puis on envoie le résultat dans le fichier "resultat flux"
 
wc -l resultat_flux.txt >> analyse  # décompte des lignes du fichier généré pour comparer avec e fichier d'origine

Voila voila, je le retravaille pour l'optimiser de temps en temps mais je n'en ai pas toujours le temps.

Je vais tester ta proposition silfun1 et je te tiens au courant.

Merci à tous en tout cas

[disedorgue]

Bonjour,

Si ton script est exactement ce que tu donnes dans ton dernier post, celui-ci ne fonctionne certainement pas comme tu le souhaites, car le sed ne traite pas la sortie de ton egrep mais le fichier flux.txt.
De plus, es-tu certain de tes positions pour la deuxième et troisième commande de sed, car la première commande rajoute les premiers pipe qui doivent être pris en compte lors des commandes suivantes et ainsi de suite ?

Sinon, comme proposé par N_BaH, qui se lance pour une version total bash (built-in) ?

[disedorgue]

Pour le fun, juste avec sed (attention, ça pique les yeux ) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
sed -n '$=' fluxbig.txt | sed -s '=' - fluxbig.txt | sed -ne '2 s/$/ fluxbig.txt/w analyse' \
-e '3~2 {N;/\n.\{250\}$/s/.*\n//;t cont;s/\n/ /w analyse' \
-e ';t;:cont' -e 's/\(.\{33\}\)\(.\{3\}\)\(.\{13\}\)\(.\{10\}\)\(.\{4\}\)\(.\{3\}\)\(.\{18\}\)\(.\{1\}\)\(.\{6\}\)/ \1|\2|\3|\4|\5|\6|\7|\8|\9/' \
-e 's/\(.\{99\}\)\(.\{3\}\)\(.\{1\}\)\(.\{5\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/ \1|\2|\3|\4|\5|\6|\7|\8|\9/' \
-e 's/\(.\{157\}\)\(.\{15\}\)\(.\{2\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{10\}\)\(.\{1\}\)/  \1|\2|\3|\4|\5|\6|\7|\8/p;}' >resultat_flux.txt