Erreur de comptage programme bash

Bonjour,
après 3 jours de recherches intensives, je ne trouve pas la solution de mon problème. J'ai un fichier .sh que j'exécute sur des fichiers .html. Ce premier recherche le nombre d'articles (écrits par des chercheurs) situés sur la page téléchargée en html. Chaque article est listé en commençant <LI>. Seulement, dans cette liste, il y a des sous-listes marquées par <UL> et </UL> au début et à la fin. Ma boucle qui doit les détecter repère bien les débuts de sous-liste, mais pas les fins. C'est comme si elle réinitialisait la valeur de la variable d'entrée dans une sous-liste.
Si qqn sait quel est le problème dans ma boucle, ça me serait d'une extrême aide !

Pour faire tourner ce fichier .sh sur le .html, j'utilise :

Code:

---

1 2	cd /Users/nanana/Desktop/essai for u in `cat liste_url_short.txt`; do nomfic=`echo $u | awk -F '/' '{print $5}'`; wget $u; ./analyse_wp2_copie.sh $nomfic; done >publis_short.csv

---

et le fichier qui sera créé s'appellera publis_short.csv
Le problème, c'est qu'en allant sur la page web https://ideas.repec.org/e/paa6.html on voit bien que ce chercheur n'a publié que 34 articles. Le programme en compte 54. En fait, il ne compte pas le premier des sous-listes, mais il compte (à tort) les suivants.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67

#!/bin/bash # principe : # les articles commencent par <A NAME=articles><HR><H4>Articles<\/H4><OL> # et se terminent par </OL> # entre les 2 lignes, on compte les <LI>, mais il faut éliminer # les liste intermédiaires (uniquement des UL ?)   # une ligne peut contenir 2 balises parmi les balises recherchées   fic=$1   nbart=0 nbchp=0 nbbk=0 nbsft=0 in_art='' # in_art = 1 si on est dans le bloc Articles in_chp='' in_bk='' in_sft='' # in_liste_art = 1 si on est dans une sous liste article <UL> ....</UL> in_liste_art='' in_liste_chp='' in_liste_bk='' in_liste_sft=''   auteur=`grep '<TITLE>' $fic |sed -e 's| <TITLE>||' -e 's| at IDEAS</TITLE>||'` idauteur=${fic%.*l}   while read line do # articles if [ "$in_art" != "1" ] then in_art=`echo $line | awk '/id="articles-body"><ol>/ {print "1"}'`   else in_liste_art=`echo $line | awk '/<UL>/ {print "1"}'` end_art=`echo $line | awk '/<\/ol><\/div><\/div>/ {print "1"}'` if [ "$end_art" != "1" ] then if [ "$in_liste_art" = "1" ] then end_liste=`echo $line | awk '/<\/UL>/ ~ $0 && /.*<UL>.*/ !~ $0 {print "1"}'` if [ "$end_liste" = "1" ] then in_liste_art='' fi fi if [ "$in_liste_art" != "1" ] then li_art=`echo $line | awk '/<LI class="downgate">/ || /<LI class="downnone">/ || /<LI class="downfree">/ {print "1"}'` if [ "$li_art" = "1" ] then nbart=`expr $nbart + 1` fi in_liste_art=`echo $line | awk '/<UL>/ {print "1"}'` fi else in_art='' fi fi     done < $fic   echo "$idauteur;$auteur;$nbart;$nbbk;$nbchp;$nbsft"

---

Merci beaucoup !
Cordialement

Bonjour,

et si tu pré-traitais le fichier avec sed pour éliminer les lignes entre <UL> et </UL> ?

il y a trop de commandes externes pour faire ce que peut faire bash avec l'opérateur =~ entre [[ .. ]], et éventuellement avec le tableau BASH_REMATCH.

Bonjour,

Merci, je vais essayer de faire ça, c'est une très bonne idée.
Je vous dis si ça fonctionne.

Bonjour,

Je ne sais pas si c'est possible. En fait il faudrait faire un
sed -i '/depuis la ligne contenant <UL> jusqu'à celle avec </UL>/d' monfichier.html

Mais du coup je pense que ce n'est pas possible. Mon fichier a la forme :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

<div class="publishedas"><UL><LI class="downgate"> Dagsvik, John K. & Wennemo, Tom & Wetterwald, Dag G. & Aaberge, Rolf, 2002. "<B><A HREF="https://ideas.repec.org/a/eee/transb/v36y2002i4p361-384.html">Potential demand for alternative fuel vehicles</A></B>," <A HREF="https://ideas.repec.org/s/eee/transb.html">Transportation Research Part B: Methodological</A>, Elsevier, vol. 36(4), pages 361-384, May.   </UL></div><LI class="downfree">Rolf Aaberge, 1995. "<B><A HREF="/p/ssb/dispap/158.html">Choosing Measures of Inequality for Empirical Applications</A></B>," <A HREF="/s/ssb/dispap.html">Discussion Papers</A> 158, Research Department of Statistics Norway.   <LI class="downfree">Dagsvik, John & Aaberge, Rolf, 1990. "<B><A HREF="/p/wbk/wbrwps/503.html">Household production, time allocation, and welfare in Peru</A></B>," <A HREF="/s/wbk/wbrwps.html">Policy Research Working Paper Series</A> 503, The World Bank.   <LI class="downnone">John E. Roemer & Rolf Aaberge & Ugo Colombino & Johan Fritzell & Stephen P. Jenkins & Ive Marx & Marianne Page & Evert Pommer & Javier Ruiz-Castillo & Maria Jesus San Segundo & Torben Tranæs & Gert G., . "<B><A HREF="/p/kud/epruwp/00-10.html">To What Extent Do Fiscal Regimes Equalize Opportunities for Income Acquisition among Citizens?</A></B>," <A HREF="/s/kud/epruwp.html">EPRU Working Paper Series</A> 00-10, Economic Policy Research Unit (EPRU), University of Copenhagen. Department of Economics.   <div class="publishedas"><UL><LI class="downgate"> Roemer, John E. & Aaberge, Rolf & Colombino, Ugo & Fritzell, Johan & Jenkins, Stephen P. & Lefranc, Arnaud & Marx, Ive & Page, Marianne & Pommer, Evert & Ruiz-Castillo, Javier, 2003. "<B><A HREF="https://ideas.repec.org/a/eee/pubeco/v87y2003i3-4p539-565.html">To what extent do fiscal regimes equalize opportunities for income acquisition among citizens?</A></B>," <A HREF="https://ideas.repec.org/s/eee/pubeco.html">Journal of Public Economics</A>, Elsevier, vol. 87(3-4), pages 539-565, March.   </UL></div><div class="otherversion"><UL><LI class="downfree">John E. Roemer & Rolf Aaberge & Ugo Colombino & Johan Fritzell & Stephen P. Jenkins & Ive Marx & Marianne Page & Evert Pommer & Javier Ruiz-Castillo & Maria Jesus SanSegundo & Torben Tranaes & Gert G., 2000. "<B><A HREF="https://ideas.repec.org/p/ssb/dispap/272.html">To what Extent do Fiscal Regimes Equalize Opportunities for Income Acquisition Among citizens?</A></B>," <A HREF="https://ideas.repec.org/s/ssb/dispap.html">Discussion Papers</A> 272, Research Department of Statistics Norway.   <LI class="downfree">John Roemer, 2003. "<B><A HREF="https://ideas.repec.org/p/cda/wpaper/00-3.html">To What Extent Do Fiscal Regimes Equalize Opportunities For Income Acquisition Among Citizens</A></B>," <A HREF="https://ideas.repec.org/s/cda/wpaper.html">Working Papers</A> 03, University of California, Davis, Department of Economics.   <LI class="downfree">John E. Roemer, . "<B><A HREF="https://ideas.repec.org/p/fth/caldec/00-03.html">To What Extent Do Fiscal Regimes Equalize Opportunities For Income Acquisition Among Citizens</A></B>," <A HREF="https://ideas.repec.org/s/fth/caldec.html">Department of Economics</A> 00-03, California Davis - Department of Economics.   <LI class="downfree">John E. Roemer & Rolf Aaberge & Ugo Colombino & Johan Fritzell & Stephen P. Jenkins & Ive Marx & Marianne Page & Evert Pommer & Javier Ruiz-Castillo & Maria Jesus San Segundo & Torben Tranaes & Gert G, 2000. "<B><A HREF="https://ideas.repec.org/p/diw/diwwpp/dp222.html">To What Extent do Fiscal Regimes Equalize Opportunities for Income Acquisition Among Citizens?</A></B>," <A HREF="https://ideas.repec.org/s/diw/diwwpp.html">Discussion Papers of DIW Berlin</A> 222, DIW Berlin, German Institute for Economic Research.   </UL></div></ol></div></div>

---

et pour la ligne contenant les deux, ca fonctionnera pas correctement, ça supprimera la ligne en lisant </UL> et du coup le <UL> déjà sur cette ligne sera supprimé...

Citation:

---

Envoyé par N_BaH

Bonjour,

et si tu pré-traitais le fichier avec sed pour éliminer les lignes entre <UL> et </UL> ?

il y a trop de commandes externes pour faire ce que peut faire bash avec l'opérateur =~ entre [[ .. ]], et éventuellement avec le tableau BASH_REMATCH.

---

J'ai essayé de faire

Code:

---

1 2 3 4 5 6 7 8 9 10

for u in `cat liste_url_short.txt` do nomfic=`echo $u awk -F '/' '{print $5}'` wget $u while read line do [[ "$line" =~"<UL>(.*)<\/UL>" ]] done < $u ./analyse_wp2_copie.sh $nomfic done >publis_short.csv

---

mais j'ai cette erreur :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

MacBook-Pro-de-xxxx: for u in `cat liste_url_short.txt` > do nomfic=`echo $u > awk -F '/' '{print $5}'` > wget $u > while read line > do > [[ "$line" =~"<UL>(.*)<\/UL>" ]] -bash: conditional binary operator expected -bash: syntax error near `=~"<UL>(.*)<\/UL>"' MacBook-Pro-de-Elodie:essai elodie$ done < $u -bash: syntax error near unexpected token `done'

---

il manque un espace après l'opérateur.

si les marques html sont sur la même ligne, ça ne fonctionnera pas davantage avec bash !
le pré-traitement doit donc consister à mettre à la ligne chaque marque html.

et, on ne lit pas un fichier avec une boucle for !

Citation:

---

Envoyé par N_BaH

il manque un espace après l'opérateur.

si les marques html sont sur la même ligne, ça ne fonctionnera pas davantage avec bash !
le pré-traitement doit donc consister à mettre à la ligne chaque marque html.

et, on ne lit pas un fichier avec une boucle for !

---

Si je comprends bien, en ayant

Code:

---

1 2	abcde<UL>fghij</UL>klmno

---

le code retourne

Code:

---

abcdeklmno

---

mais si j'ai

Code:

---

1 2 3 4

abcde <UL>fghi jklmn </UL>opqr

---

ca fonctionnera pas : ca retournera :

Code:

---

abcdejklmn

---

au lieu de

Code:

---

abcdeopqr

---

à partir de

Code:

---

abcde<UL>fghij</UL>klmno

---

tu dois chercher à obtenir

Code:

---

1 2 3

abcde <UL>fghij </UL>klmno

---

de façon à ce que les balises ouvrantes et fermantes ne soient pas sur la même ligne.

Citation:

---

Envoyé par N_BaH

à partir de

Code:

---

abcde<UL>fghij</UL>klmno

---

tu dois chercher à obtenir

Code:

---

1 2 3

abcde <UL>fghij </UL>klmno

---

de façon à ce que les balises ouvrantes et fermantes ne soient pas sur la même ligne.

---

Elles ne sont que rarement sur une même ligne. Le problème, c'est que je voudrais aussi supprimer les lignes situées entre les lignes contenant ces balises. C'est possible?

Bonjour :coucou:

Je trouve 35 articles. et non 34.

Code:

---

1 2	$ wget -O- https://ideas.repec.org/e/paa6.html | sed -n '/<OL>/{:z;N;s@<UL>.*</UL>@@;/<\/OL>/!b z;p}' /tmp/test.htm |sed '/<LI>/!d'|wc -l 35

---

Citation:

---

Envoyé par Flodelarab

Bonjour :coucou:

Je trouve 35 articles. et non 34.

Code:

---

1 2	$ wget -O- https://ideas.repec.org/e/paa6.html | sed -n '/<OL>/{:z;N;s@<UL>.*</UL>@@;/<\/OL>/!b z;p}' /tmp/test.htm |sed '/<LI>/!d'|wc -l 35

---

---

Bonjour,
Il y en a pourtant 34, mais c'est un détail.
Vous avez échappé le / de OL mais pas celui de UL, le 35 peut venir de là?


En réalité, je dois reproduire la manoeuvre sur les 4 sections d'un fichier (articles, books, chapters et softwares ; certaines pouvant ne pas y être) savez-vous comment je peux faire ?

J'ai exécuté, et j'obtiens :

Code:

---

1 2	MacBook-Pro-de-Elodie:essai elodie$ sed '/<OL>/{:z;N;s@<UL>.*</UL>@@;/<\/OL>/!b z;p}' /Users/elodie/Desktop/essai/paa6.html |sed '/<LI>/!d' > /Users/elodie/Desktop/essai/paa6bis.html |wc -l 0

---

Les 35 lignes qu'il trouve ne sont pas du tout les bonnes, ce sont des lignes de fin, qui sont hors de la section articles...

Citation:

---

Envoyé par N_BaH

et, on ne lit pas un fichier avec une boucle for !

---

J'ai x liens html dont j'extrait la page avec la boucle for, et à l'intérieur de cette boucle, lorsque je suis sur le fichier u, j'ai mis un while read line ; do ... ; done < $u. Ca ne convient pas ?

Le pipe | prend la sortie d'une commande pour la mettre à l'entrée de la commande suivante. Il ne faut donc pas redonner une cible (fichier).
:oops: En relisant, je me rends compte que j'ai fait la même erreur en copiant/collant.

Soit on télécharge et on traite à la volée:

Code:

---

wget -O- https://ideas.repec.org/e/paa6.html | sed -n '/<OL>/{:z;N;s@<UL>.*</UL>@@;/<\/OL>/!b z;p}' |sed '/<LI>/!d'

---

Soit on traite un fichier déjà téléchargé:

Code:

---

sed -n '/<OL>/{:z;N;s@<UL>.*</UL>@@;/<\/OL>/!b z;p}' /tmp/test.htm |sed '/<LI>/!d'

---

Et vous constaterez 35 lignes.

Citation:

---

Vous avez échappé le / de OL mais pas celui de UL, le 35 peut venir de là?

---

Le séparateur pour la substitution n'est pas fixe. On peut en utiliser d'autres (je n'ai pas la liste sous la main). Or, nous savons que c'est un fichier html. Donc rempli de /. Ainsi, je remplace le séparateur pour la substitution / par @ et je n'ai plus besoin d'échapper sans cesse.
Par contre, pour désigner les expressions régulières, j'ai oublié si d'autres signes sont possibles. L'échappement est donc de rigueur.

Citation:

---

Envoyé par Flodelarab

Le pipe | prend la sortie d'une commande pour la mettre à l'entrée de la commande suivante. Il ne faut donc pas redonner une cible (fichier).
:oops: En relisant, je me rends compte que j'ai fait la même erreur en copiant/collant.

Soit on télécharge et on traite à la volée:

Code:

---

wget -O- https://ideas.repec.org/e/paa6.html | sed -n '/<OL>/{:z;N;s@<UL>.*</UL>@@;/<\/OL>/!b z;p}' |sed '/<LI>/!d'

---

Soit on traite un fichier déjà téléchargé:

Code:

---

sed -n '/<OL>/{:z;N;s@<UL>.*</UL>@@;/<\/OL>/!b z;p}' /tmp/test.htm |sed '/<LI>/!d'

---

Et vous constaterez 35 lignes.

Le séparateur pour la substitution n'est pas fixe. On peut en utiliser d'autres (je n'ai pas la liste sous la main). Or, nous savons que c'est un fichier html. Donc rempli de /. Ainsi, je remplace le séparateur pour la substitution / par @ et je n'ai plus besoin d'échapper sans cesse.
Par contre, pour désigner les expressions régulières, j'ai oublié si d'autres signes sont possibles. L'échappement est donc de rigueur.

---

D'accord, je comprends mieux.
Du coup, j'ai

Code:

---

1 2	MacBook-Pro-de-Elodie:essai elodie$ sed '/id="articles-body"><ol>/{:z;N;s@<UL>.*<\/UL>@@;/<\/ol><\/div><\/div>/!bz;p}' /Users/elodie/Desktop/essai/paa6.html | sed '/<LI>/!d' |wc -l 36

---

Presque ça. Pour les 4 sections, une idée ?
Et comment je peux lui faire montrer à quoi correspondent ces 36 qu'il a trouvé ? (pour m'assurer que ce sont les bons résultats...)
En tous cas, merci pour l'aide et les explications !

Je pense que le mieux c'est en effet de tout supprimer depuis la ligne 1 jusqu'au motif class="panel-collapse" id="articles-body"><ol> ; et tout supprimer depuis <div id="author-nep-fields" class="panel col-xs-12"><div class="panel-heading"> jusqu'à la fin. Comme ça il ne me reste que mes 4 sections, dans lesquelles il faudra ensuite appliquer la suppression des sous-listes.
Avez-vous une idée de la commande (si elle existe ? Je cherche depuis ce matin 8h mais c'est assez laborieux) qui me permettrait de faire ça?

En regardant de plus près, certaines choses sont plus claires:

• Les 35 items rapportés par mon script sont les 22 NEP Fields et les 13 statistics
• Il reste les deux premières sections à récupérer
• Pourquoi supprimer les sous listes ?
• Il y a 213 liens: 34 articles+62 working papers+sous-listes
  
  Code:

  ---

  1 2 3 4 5 6 7 8

  $ grep -c 'downfree' /tmp/test.htm 155 $ grep -c 'downnone' /tmp/test.htm 7 $ grep -c 'downgate' /tmp/test.htm 51 $ grep -c '"down[^"]*"' /tmp/test.htm 213

  ---

Citation:

---

Envoyé par Flodelarab

En regardant de plus près, certaines choses sont plus claires:

• Les 35 items rapportés par mon script sont les 22 NEP Fields et les 13 statistics
• Il reste les deux premières sections à récupérer
• Pourquoi supprimer les sous listes ?
• Il y a 213 liens: 34 articles+62 working papers+sous-listes
  
  Code:

  ---

  1 2 3 4 5 6 7 8

  $ grep -c 'downfree' /tmp/test.htm 155 $ grep -c 'downnone' /tmp/test.htm 7 $ grep -c 'downgate' /tmp/test.htm 51 $ grep -c '"down[^"]*"' /tmp/test.htm 213

  ---

---

D'accord, c'est bien ce qu'il me semblait, ce n'est pas du tout ce que je veux compter.
Pour m'expliquer mieux :
le fichier html est fabriqué comme ceci :

[blabla de présentation] <= je n'en veux pas
[section working papers] <= je n'en veux pas

[section Articles]<OL>
<LI> un article
<LI> un article 2
<UL><LI> une variante de ce meme article 2
<LI> une autre variante tjrs de l'article 2
</UL> 'fin de la sous-liste <LI> un 3eme article
<LI> un 4eme article
</OL> [FIN de la section ARTICLES]

[section books]<OL>
etc
</OL>

[section chapters]<OL>
etc
</OL>

[section softwares]<OL>
etc
</OL>

[NEP fields] <= je n'en veux pas
[statistics] <= je n'en veux pas

Je veux seulement compter les articles (repérés par <LI>) de chaque section (articles, books, chapt, soft), mais pas les variantes (repérées avec <UL>). Tout ce qui est avant le début de la section Articles et après la fin de la section softwares ne m'intéresse pas.
Et downnone, downgate et le 3eme apparaissent comme logo devant les articles pour signifier si on peut ou non télécharger l'article : il peut y avoir les 3 dans n'importe quelle section.

Je suis désolée, c'est vraiment pas simple :( :oops:

Moi, je trouve ça très classique au contraire. Mais encore faut-il comprendre ce que tu veux vraiment.

Voici une proposition:

Code:

---

sed -n '/author-articles/{:z;N;s@<[uU][lL]>.*</[uU][lL]>@@g;/<\/[oO][Ll]>/!b z;p}' /tmp/test.htm

---

Vérifions le nombre d'articles repéré:

Code:

---

1 2	$ sed -n '/author-articles/{:z;N;s@<[uU][lL]>.*</[uU][lL]>@@g;/<\/[oO][Ll]>/!b z;p}' /tmp/test.htm|grep -oci '<li ' 34

---

Bon, ben, c'est bon. Y a plus qu'à affiner.

Citation:

---

Envoyé par Flodelarab

Moi, je trouve ça très classique au contraire. Mais encore faut-il comprendre ce que tu veux vraiment.

Voici une proposition:

Code:

---

sed -n '/author-articles/{:z;N;s@<[uU][lL]>.*</[uU][lL]>@@g;/<\/[oO][Ll]>/!b z;p}' /tmp/test.htm

---

Vérifions le nombre d'articles repéré:

Code:

---

1 2	$ sed -n '/author-articles/{:z;N;s@<[uU][lL]>.*</[uU][lL]>@@g;/<\/[oO][Ll]>/!b z;p}' /tmp/test.htm|grep -oci '<li ' 34

---

Bon, ben, c'est bon. Y a plus qu'à affiner.

---

Merci merci merci infiniment !!! C'est exactement ce qu'il me fallait, et ça fonctionne parfaitement ! Merci de m'avoir accordé du temps et de l'énergie, et merci pour votre patience !