Lecture croisée de fichiers

Version imprimable

Salut à tous!

Je cherche à créer un fichier .sh qui effectue une petite recherche croisée... Voici mon exemple :

Fichier1.txt
Code:

1 2 3 4 5 6 Nom1 Nom2 Nom3 Nom4 ... Nomi
Fichier2.txt
Code:

1 2 3 4 5 6 Prenom1 Tel1 Addresse1 Nom1 Commentaire1 Prenom2 Tel2 Addresse2 Nom2 Commentaire2 Prenom3 Tel3 Addresse3 Nom3 Commentaire3 Prenom4 Tel4 Addresse4 Nom4 Commentaire4 ... Prenomi Teli Addressei Nomi Commentairei
Je souhaiterais dans un premier temps, balayer le Fichier1.txt, récupérer le contenu de chaque ligne et ensuite rechercher dans Fichier2.txt ce même contenu pour ensuite me mettre en variable, le prénom associé puis bidouiller --> bidouiller = prochaine étape ;-)

Voici mon fichier .sh actuel (appelé new.sh) :
Code:

1 2 3 4 5 6 7 8 9 10 #!/bin/bash for ligne in $(cat fichier1.txt) do set $(echo $ligne) mon_nom=$(eval echo $1) #echo "variable1=$mon_nom" mon_prenom =$(grep $nom_cp fichier2.txt | awk '{Print$1}') #mon_prenom = 1er argument de la ligne contenant mon_nom echo "$mon_nom : $mon_prenom" done
seulement, il me sort une insulte pour chacune des lignes (new.sh = fichier shell appelé) :

Code:

mon_prenom: new.sh 10: not found

Quelqu'un aurait une petite solution? je commence à être à court d'idée...

Un grand merci!

10/07/2013, 14h51
noooop

Bonjour,

mon_prenom=

Supprimer l'espace avant le =
10/07/2013, 14h53
Jiheme44

le même code ne serait il pas possible avec la fonction 'join' ?
10/07/2013, 15h56
Flodelarab

Bonjour

+1 pour join.

S'il faut juste un filtre, grep -f fichier1.txt fichier2.txt et c'est fini

Sinon, vu le problème posé, je ferais tout dans awk avec un genre de :

Code:

awk '(NR==FNR)x[$1]++ (NR!=FNR){if (x[$4]>0) print $1}' fichier1.txt fichier2.txt

(pas testé)
les bidouilles sont alors possibles.
10/07/2013, 18h36
N_BaH

le Fichier1.txt ne contenant qu'une seule colonne, nom="$ligne", donc en fait, for nom in $(cat Fichier1.txt) (sachant que ça ne fonctionne que parce que le fichier ne contient qu'une seule colonne; en général pour parcourir un fichier en shell on utilise une boucle while)

grep | awk est redondant : awk sait ne traiter que les lignes qui correspondent à une regex.

j'aime bien savoir à quoi va servir les codes (la «bidouille» ^^) car ça peut modifier un peu le code qui précède.
10/07/2013, 21h23
disedorgue

Bonjour,

Je suis d'accord, grep | awk , c'est un peu redondant, pour un cas aussi simple de récupération du prenom, le grep de gnu est suffisant :aie:
11/07/2013, 07h08
ripat

Citation:

Envoyé par disedorgue

Bonjour,

Je suis d'accord, grep | awk , c'est un peu redondant, pour un cas aussi simple de récupération du prenom, le grep de gnu est suffisant :aie:

Si ce n'est que la solution grep risque poser problème pour des patronymes basés sur des prénoms comme Marc Louis par exemple.
11/07/2013, 07h58
disedorgue

Pas plus que awk...

Grep sortira toutes les lignes contenant "Louis" n'importe où dans la ligne. Awk, par contre permet de ne le rechercher que dans une colonne précise.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 $ cat f1 Dupont Louis $ cat f2 Louis 12345 adresse1 Durant com1 Marc 123456 adresse2 Louis com2 $ grep -f f1 f2 Louis 12345 adresse1 Durant com1 Marc 123456 adresse2 Louis com2 $ awk 'FNR==NR{a[$1]++;next}a[$4]{print}' f1 f2 Marc 123456 adresse2 Louis com2
Ou alors, il faut modifier le fichier1 en encadrant chaque motif par des espaces. Un peu lourd à mon sens.

11/07/2013, 09h13
noooop

Bonjour,

Quand j'ai un problème de ce style avec 1 fichier qui contient des critères a rechercher dans un deuxième fichier, voici la solution que j'utilise:
1) a partir du fichier "critères" je génère un grand script awk (avec un awk). C'est à dire que toutes les lignes du fichier "critères" sont utilisées en tant que "pattern" dans ce script awk
2) avec ce script awk généré je parse le deuxième fichier.

Avantage, plus rapide que de faire une boucle qui lance autant de awk que de lignes dans le fichier n°1.

C'est empirique mais ca me dépanne souvent.
Le premier awk (celui qui va générer le awk de recherche dans le fichier n°2) est souvent simple a écrire.
11/07/2013, 09h17
ripat

Citation:

Envoyé par noooop

Bonjour,

Quand j'ai un problème de ce style avec 1 fichier qui contient des critères a rechercher dans un deuxième fichier, voici la solution que j'utilise:
1) a partir du fichier "critères" je génère un grand script awk (avec un awk). C'est à dire que toutes les lignes du fichier "critères" sont utilisées en tant que "pattern" dans ce script awk
2) avec ce script awk généré je parse le deuxième fichier.

Avantage, plus rapide que de faire une boucle qui lance autant de awk que de lignes dans le fichier n°1.

C'est empirique mais ca me dépanne souvent.
Le premier awk (celui qui va générer le awk de recherche dans le fichier n°2) est souvent simple a écrire.

Tu pourrais faire le tout simplement, en une seule passe, en t'inspirant du code awk que j'ai posté plus haut. Un grand classique pour le type de problème posé.
11/07/2013, 09h21
noooop

Citation:

Envoyé par ripat

Tu pourrais faire le tout simplement, en une seule passe, en t'inspirant du code awk que j'ai posté plus haut. Un grand classique pour le type de problème posé.

Oui.....car c'est simple, mais en général mon fichier n°1 est un peu plus complexe.
11/07/2013, 09h40
Symone

Re-Salut à tous!

Déjà un grand merci pour vos réponses! J'ai oublié de préciser que çà fait à peine deux jours que je m'interesse au shell et que je vais mettre un peu de temps à comprendre toutes vos réponses et à toutes les tester... :koi:

Je me suis occupé de la 1ère, à savoir supprimer l'espace entre "mon_prenom" et "="... çà marche à moitié : plus de message d'erreur mais mon_prenom n'est toujours pas trouvé!

Citation:

N_BaH : j'aime bien savoir à quoi va servir les codes (la «bidouille» ^^) car ça peut modifier un peu le code qui précède.

Enfait il ne s'agit pas de noms & prénoms mais de stations et paramètres : le "mon_prenom" est enfait un nom de station et servira ensuite à naviguer sur le réseau pour aller trouver la taille d'un n-ième fichier ; je pense que çà ressemblera à çà : adresse=$("\\" $mon_prenom "\c$\Users\admin\Documents\")...

En tout cas je vous remercie! je vous refait signe dès qu'une des solutions marche :aie: (ou qu'aucune ne marche 8O)
11/07/2013, 09h42
Symone

Citation:

ripat : Si ce n'est que la solution grep risque poser problème pour des patronymes basés sur des prénoms comme Marc Louis par exemple.

Pas de soucis par là : il n'y aura pas de patronymes

Ton script corrigé:

Code:

1
2
3
4
5
6
7
#!/bin/bash
for ligne in $(cat fichier1.txt)
do
        mon_nom=$ligne
        mon_prenom=$(grep $mon_nom fichier2.txt | awk '{print $1}')  #mon_prenom = 1er argument de la ligne contenant mon_nom
        echo "$mon_nom : $mon_prenom"
done

Résultat:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
xxx@xxx:~/test1$ cat fichier1.txt 
nom1
nom2
nom3
xxx@xxx:~/test1$ cat fichier2.txt 
Prenom1 Tel1    Addresse1       Nom1    Commentaire1
Prenom2 Tel2    Addresse2       Nom2    Commentaire2
Prenom3 Tel3    Addresse3       Nom3    Commentaire3
xxx@xxx:~/test1$ ./t.sh
variable1=nom1
nom1 : Prenom1
variable1=nom2
nom2 : Prenom2
variable1=nom3
nom3 : Prenom3
xxx@xxx:~/test1$

et une version "pure awk"

Code:

awk '{print "/" $1 "/ { print \"" $1 " \" $1}"}' fichier1.txt > temp.awk && awk -f temp.awk fichier2.txt

11/07/2013, 17h02
Symone

Re-Salut à tous!

J'ai essayé à peu près toutes vos méthodes et je n'ai pas vraiment trouvé de résultat concluant... j'ai d'ailleurs une petite remarque : ce ne sont pas des fichiers .txt mais un .pkg et l'autre sans extension... Désolé de le préciser que maintenant, je sais pas si çà a beaucoup d'importance ici...

Sinon, j'ai réussi avec la 1ère solution de Floderalab que j'ai adapté pour trouver quelque chose d'assez sympa :

Code:

grep -f fichier1.txt fichier2.txt

qui devient :

Code:

grep -f fichier1.txt fichier2.txt | awk '{print$1 " : " $4}'

J'aurai bien aimé comprendre la suite du code de Flodelarab :

Code:

awk '(NR==FNR)x[$1]++ (NR!=FNR){if (x[$4]>0) print $1}' fichier1.txt fichier2.txt

Par contre, dans toute la liste de noms du fichier1.txt, seuls 1 ou 2 reviennent dans la liste (en décortiquant fichier2.txt : c'est normal)
Mais ducoup, est-ce que vous pensez qu'il est possible de mettre les prénoms dans 1 ou 2 fichiers nommés par le nom associé?!

Voici un exemple plus concret :

la commande grep -f fichier1.txt fichier2.txt | awk '{print$1 " : " $4}' me donne le résultat suivant :
nom1 : prenomA
nom1 : prenomB
nom1 : prenomC
nom1 : prenomD
nom2 : prenomE
nom2 : prenomF
nom2 : prenomG
...
Est-il possible d'avoir :
nom1.txt :
nom1
prenomA
prenomB
prenomC
prenomD

nom2.txt :
nom2
prenomE
prenomF
prenomG

En vous remerciant!

Voici une version "corrigé" du script d'origine en retirant le awk:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 $ cat fic1.txt Nim1 Nim2 Nim3 Nim4 Nimi $ cat fic2.txt Prenom1 Tel1 Addresse1 Nim1 Commentaire1 Prenom2 Tel2 Addresse2 Nim2 Commentaire2 Prenom3 Tel3 Addresse3 Nim3 Commentaire3 Prenom4 Tel4 Addresse4 Nim4 Commentaire4 Prenomi Teli Addressei Nimi Commentairei $ while read nom; do [ -n "$nom" ] && (prenom=$(grep -o -P "^[^\t]*(?=.*$nom)" fic2.txt); echo $nom : $prenom); done <fic1.txt Nim1 : Prenom1 Nim2 : Prenom2 Nim3 : Prenom3 Nim4 : Prenom4 Nimi : Prenomi
Je précise ici, que le séparateur de champs est la tabulation (ce qui est le cas dans les input donnés au départ)
Et je parlais d'utiliser le grep que pour le cas de récupération d'un champs.
Et aussi pour m'amuser un peu, en cas réel, j'utiliserais surement awk.;)

12/07/2013, 12h41
ripat

Citation:

Envoyé par Symone

Re-Salut à tous!

...

Par contre, dans toute la liste de noms du fichier1.txt, seuls 1 ou 2 reviennent dans la liste (en décortiquant fichier2.txt : c'est normal)
Mais ducoup, est-ce que vous pensez qu'il est possible de mettre les prénoms dans 1 ou 2 fichiers nommés par le nom associé?!

Voici un exemple plus concret :

la commande grep -f fichier1.txt fichier2.txt | awk '{print$1 " : " $4}' me donne le résultat suivant :
nom1 : prenomA
nom1 : prenomB
nom1 : prenomC
nom1 : prenomD
nom2 : prenomE
nom2 : prenomF
nom2 : prenomG
...
Est-il possible d'avoir :
nom1.txt :
nom1
prenomA
prenomB
prenomC
prenomD

nom2.txt :
nom2
prenomE
prenomF
prenomG

En vous remerciant!

Demande à géométrie variable! Et si on travaillait sur un fichier réel plutôt que de prendre des analogies patronymiques...

Merci de nous fournir un échantillon représentatif du fichier de départ ainsi que le résultat souhaité. On risque de tourner en rond sinon.
12/07/2013, 14h33
Flodelarab
- La première chose, si tu veux comprendre awk est de lire le manuel. Il n'est pas long.
- Après, la méthode de ripat est la même que la mienne (dans l'idée). On remplit un tableau (peu importe son nom) dont les indices seront les noms du premier fichier. La seconde accolade va pouvoir réutiliser ce tableau pour un traitement adéquat.
- Troisièmement, dans awk, si tu veux rediriger vers nom1.txt, c'est facile. Il suffit d'écrire une redirection comme print $2 >$1".txt"

Salut à tous!

Citation:

il ne s'agit pas de noms & prénoms mais de stations et paramètres : le "mon_prenom" est enfait un nom de station (nom_host) et servira ensuite à naviguer sur le réseau pour aller trouver la taille d'un n-ième fichier ; je pense que çà ressemblera à çà : adresse=$("\\" $nom_host"\c$\Users\admin\Documents\")...

Voilà le fichier que j'ai reussi à faire grâce à vous :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
#!/bin/bash
 
 
#  Adresse_initiale : adresse où se trouve les fichiers fichier1.txt et fichier2.txt
#  Adresse_Resultats : adresse où seront mis les fichiers résultats (ResumeChkPt.txt et Checkpoint.txt)
#  adresse_du_fichier : adresse où se trouve le fichier dont on veut connaitre la taille
 
#   ResumeChkPt.txt : Fichier dont les lignes sont formées de 12 caractères :
#	- les 6 premiers forment le nom du host
#	- les 6 derniers forment le nom du pc hosté
 
 
#	Checkpoint.txt : Fichier dont les lignes contiennent une fois sur deux : le nom du pc puis la taille du fichier correspondant
#	Exemple : 
#	PC0001
#	101.03KB
#	PC0002
#	303.13KB
#	PC0003
#	202.05KB
#	PC0004
#	1.09MB
#	PC0005
#	2.96MB
 
 
adresse_resultats=$(echo "D:/maintenance/Checkpoints")
cd $adresse_resultats
rm Checkpoint.txt  #suppr le fichier pour ne pas copier à la suite
 
adresse_initiale=$(echo "D:/usr/sp")
cd $adresse_initiale
 
grep -f fichier1.txt fichier2.txt  | awk '{print$1 $2}'>$adresse_resultats/ResumeChkPt.txt
 
for ligne in $(cat $adresse_resultats/ResumeChkPt.txt)
do 	
	nom_host=${ligne:0:$((${#ligne}-6))}      #6 1ers caracts
 
	nom_PC=$(echo $ligne | sed 's/.\{6\}//')  #6 dern caracts
	nom_fichier=$(echo "DB$nom_CP.txt")
 
 
	echo $nom_PC>>$adresse_resultats/Checkpoint.txt
 
	adresse_du_fichier=$(echo "//$nom_host/d\$/usr/sp/files")
	cd $adresse_du_fichier
	ls -lh $nom_fichier | awk '{print$5}'>>$adresse_resultats/Checkpoint.txt
 
done

Le "fichier1.txt" :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
PC0001
PC0002
PC0003
PC0004
PC0005
PC0006
PC0007
PC0008
PC0009
PC0010
PC0011
PC0012
PC0013
PC0014
PC0015
PC0016
PC0017
PC0018
PC0019
PC0020
PC0021
PC0022
PC0023
PC0024

Le "fichier2.txt" (incomplet):

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
PC0001 PC0001 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0002 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0003 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0004 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0005 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0006 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0007 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0008 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0009 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0010 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0011 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0002 PC0012 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0002 PC0013 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0002 PC0014 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0002 PC0015 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0016 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0017 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0018 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0019 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0001 PC0020 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0002 PC0021 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0002 PC0022 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000
PC0002 PC0023 PC0001 OS1C83 425639 DONE   0c34 00 00 0000 00000

Tout marche nickel, à part une petite ligne :

Code:

1
2
	adresse_du_fichier=$(echo "//$nom_host/d\$/usr/sp/files")
	cd $adresse_du_fichier

je n'arrive pas à me déplacer sur un autre PC connecté au réseau par cette commande... Je n'y arrive pas non plus à partir du terminal (avec ou sans la commande cd)

En revanche, j'y arrive très bien depuis un explorer (sans les variables, bien entendu) :
\\PC0001\d$\ pour accéder au disque D:\ du PC nommé PC0001

J'ai créé une nouvelle discussion pour ce problème :
http://www.developpez.net/forums/d13...l/#post7393811

En tout cas un grand merci à vous, je n'y serai pas arrivé sans developpez.net et avec ce premier script, j'ai beaucoup appris sur le shell :yaisse2: