Problème lorsque retour à la ligne avec grep

Bonjour,

J'ai le code bash :

Code:

---

grep 'name="subaffil"' $fic |sed -e 's|^.*class="collapsed">||' |sed ':z;N;$!b z;s/\n/;/g' | sed -e 's|</a></h4></div></div>.*$||' -e 's|<BR>|, |g'

---

qui vise à récupérer l'affiliation sur des pages web d'auteurs d'at ideas, telles que :
https://ideas.repec.org/e/pca127.html

Exécutée à grande échelle (44000 pages), la majorité des affiliations est bien repérée et enregistrée.

QUESTION 1 :
Cependant, je me suis aperçue que cela fonctionne bien lorsque j'ai une page où tout est sur la même ligne, comme :

Code:

---

blabla <............name="subaffil">blablabla.....class="collapsed"> affiliation,univ,pays</a></h4></div></div>....blabla

---

Mais lorsque j'ai sur plusieurs lignes :

Code:

---

1 2 3

blabla <............name="subaffil">blablabla....class="collapsed"> affiliation univ pays</a></h4></div></div>....blabla

---

il semble alors qu'il s'arrête à la fin de la première ligne et supprime tout le reste.. parce que le résultat est : affiliation
mais pas univ, ni pays.

J'ai cherché comment modifier le code, mais je ne sais pas comment arranger ça. Je pense qu'il faudrait mettre une suppression des retours chariots avant de commencer à découper entre class="collapsed"> et </a></h4></div></div>, mais alors il ne pourra plus utiliser le repérage d'une ligne pour savoir quand découper, si ?

QUESTION 2 :
De plus, lorsque j'ai 1 ou 2 affiliations, ça fonctionne bien, mais lorsque j'ai 3 ou 4, ca ne fonctionne plus correctement : c'est limité aux 2 premières affiliations. Quelle est l'astuce pour aussi prendre en compte les 3, 4 voire 5eme affiliations ???


Merci de votre aide,
cordialement

Bonjour :coucou:

Change le premier étage de ta conduite:

Code:

---

grep 'name="subaffil"' $fic

---

En :

Code:

---

sed -n '/name="subaffil"/{/pays/!{:z;N;/pays/!b z;s/\n/ /g;};p}' $fic

---

Citation:

---

Envoyé par Flodelarab

Bonjour :coucou:

Change le premier étage de ta conduite:

Code:

---

grep 'name="subaffil"' $fic

---

En :

Code:

---

sed -n '/name="subaffil"/{/pays/!{:z;N;/pays/!b z;s/\n/ /g;};p}' $fic

---

---

Bonjour,
en fait, pays est variable. J'ai parfois

Code:

---

1 2 3

<div class="panel col-xs-12"><div class="panel-heading"><div class="panel-title"><h4><a name="subaffil" href="#subaffil-body-0" data-toggle="collapse" class="collapsed">Zicklin School of Business<BR> Baruch College<BR> City University of New York (CUNY)</a></h4></div></div><div class="panel-collapse collapse" id="subaffil-body-0">

---

ou encore

Code:

---

1 2 3

<div class="panel col-xs-12"><div class="panel-heading"><div class="panel-title"><h4><a name="subaffil" href="#subaffil-body-0" data-toggle="collapse" class="collapsed">Departement Algemene Economie (Department of Economics)<BR> School of Economics and Management<BR> Universiteit van Tilburg (Tilburg University)</a></h4></div></div><div class="panel-collapse collapse" id="subaffil-body-0">

---

Ce que j'ai appelé "pays" est en fait tout quelque chose qui change à chaque fois...


Et pour les 3eme, 4eme affiliations, une idée?

D'abord, il y a systématiquement plus de balises </div> que de balises <div :roll:
Un fichier bien construit. A moins que je ne m'abuse.

Ensuite, tu décris mal. Il y a aussi un mot suffisant: 'Location'. Remplace 'pays' par 'Location' dans le script précédent et tu récupères les 4 lignes complètes.

Enfin, pour les 3ème et 4ème affiliations, je ne comprends pas la question.

salut,

je me permets de proposer une solution basée sur lynx -dump, c'est à dire qui consistera à striper tout le foin html avant de chercher l'info qui nous intéresse, ça me semble peut-être plus simple :

Code:

---

1 2 3 4 5

$ lynx -dump https://ideas.repec.org/e/pca127.html | awk '/^\[[0-9]+\]Affiliation/,/^\[[0-9]+\]Works/' | grep "^\[" | cut -d' ' -f2- | grep -v "^\[" Unitat de Fonaments de l'Anàlisi Econòmica Center for the Study of Organizations and Decisions in Economics Consorci Markets, Organizations and Votes in Economics (MOVE) Universitat Autonoma de Barcelona. Unitat de Fonaments de l'Analisi

---

c'est sûrement perfectible

En effet, avec Location le problème est résolu, merci beaucoup.


Je m'excuse, l'erreur ne vient pas de la commande, mais de la suivante que j'ai élaboré, et qui ne s'adapte pas pour 3 ou plus. J'ai fait :

Code:

---

awk -F';' '{if ( /[0-9][0-9]*%/ ) print $1";"$2";"$3"\n"$1";"$2";"$4; else print $0} ' ./affiliatio.csv > affiliation.csv

---

Je viens d'adapter en :

Code:

---

awk -F';' '{if ( /[0-9][0-9]*%/ ) print $1";"$2";"$3"\n"$1";"$2";"$4"\n"$1";"$2";"$5"\n"$1";"$2";"$6"\n"$1";"$2";"$7"\n"$1";"$2";"$8"\n"$1";"$2";"$9"\n"$1";"$2";"$10; else print $0} ' ./affiliatio.csv > affiliation.csv

---

Ce problème n'en est plus un.
Merci.

Par ailleurs, parfois j'ai plusieurs institutions sans avoir de pourcentage d'affiliation. Comment puis-je faire pour "compter" le nombre d'institutions, et diviser 100 par le nombre, pour l'affecter à la ligne ?
j'ai par exemple
paa1;nom1;instit1;
paa1;nom1;instit2;
paa1;nom1;instit3;

et je voudrais :
paa1;nom1;instit1;33
paa1;nom1;instit2;33
paa1;nom1;instit3;33

ou encore
paa1;nom1;instit1;
paa1;nom1;instit2;


je voudrais :
paa1;nom1;instit1;50
paa1;nom1;instit2;50

Citation:

---

Envoyé par BufferBob

salut,

je me permets de proposer une solution basée sur lynx -dump, c'est à dire qui consistera à striper tout le foin html avant de chercher l'info qui nous intéresse, ça me semble peut-être plus simple :

Code:

---

1 2 3 4 5

$ lynx -dump https://ideas.repec.org/e/pca127.html | awk '/^\[[0-9]+\]Affiliation/,/^\[[0-9]+\]Works/' | grep "^\[" | cut -d' ' -f2- | grep -v "^\[" Unitat de Fonaments de l'Anàlisi Econòmica Center for the Study of Organizations and Decisions in Economics Consorci Markets, Organizations and Votes in Economics (MOVE) Universitat Autonoma de Barcelona. Unitat de Fonaments de l'Analisi

---

c'est sûrement perfectible

---

Bonjour,
J'essaie, je suis en train d'installer lynx, je n'avais pas cette commande. Je vous dis si ça marche. Merci

Une inspiration:

Code:

---

1 2 3 4

$ cat trout.txt paa1;nom1;instit1; paa1;nom1;instit2; paa1;nom1;instit3;

---

Code:

---

1 2 3

$ cat trout2.txt paa1;nom1;instit1; paa1;nom1;instit2;

---

Code:

---

1 2 3 4

$ awk -F';' '{a[$1$2]++;b[$0]=$1$2;} END{for (i in b) print i""int(100/a[b[i]]);}' trout.txt paa1;nom1;instit1;33 paa1;nom1;instit2;33 paa1;nom1;instit3;33

---

Code:

---

1 2 3

$ awk -F';' '{a[$1$2]++;b[$0]=$1$2;} END{for (i in b) print i""int(100/a[b[i]]);}' trout2.txt paa1;nom1;instit1;50 paa1;nom1;instit2;50

---

Bonjour,
sachant que l'on a plutôt :

Code:

---

1 2 3 4 5 6

$ cat trout.txt paa1;nom1;instit1; paa1;nom1;instit2; paa1;nom1;instit3; paa2;nom2;instit1;80 paa2:nom2;instit2;20

---

Comment puis-je ignorer les lignes ayant déjà un %age ?

J'ai essayé :

Code:

---

awk -F';' '!/^.*%.*$/ {a[$1$2]++;b[$0]=$1$2;} END{if ($4=="") for (i in b) print i""int(100/a[b[i]]);}' affiliation_essai.csv > affiliation_e.csv

---

mais c'est comme s'il ne tenait pas compte de ma condition
Merci !

J'ai résolu le problème en distinguant dans 2 fichiers différents les lignes avec et sans %age, puis en les concaténant une fois l'opération faite :

Code:

---

1 2 3

grep -v '^.*;[0-9][0-9]*$' affiliation_essai.csv | awk -F';' '{a[$1$2]++;b[$0]=$1$2;} END{ for (i in b) print i""int(100/a[b[i]]);}' > affiliation_e.csv grep '^.*;[0-9][0-9]*$' affiliation_essai.csv > affiliation_f.csv cat affiliation_[a-z].csv > affiliation_fin.csv

---