Discussion :

[guenfood]

Bonjour,

J'avoue que je ne sais pas dans quelle partie du forum je peux poster ma question.

Je cherche à récupérer tous les fichiers .mrc d'un site.
Ceux-ci peuvent être téléchargés un par un, mais j'aimerais pouvoir faire un téléchargement de masse.
En ouvrant le lien suivant, cela télécharge le fichier : http://www.librairiedialogues.fr/ws/...unimarc_utf-8/

J'ai essayé avec httrack, ou même avec wget, mais cela ne fonctionne pas.
Si on cherche à accéder à http://www.librairiedialogues.fr/ws/book/ on a une page 404
L'url des fichiers mrc à télécharger n'a qu'une variante dans l'adresse en fonction du fichier, c'est le répertoire avec les chiffres.
Pour exemple, voici une autre url pour téléchargement du fichier mrc :
http://www.librairiedialogues.fr/ws/...unimarc_utf-8/

Quelqu'un aurait-il une solution pour que je puisse télécharger tous les fichiers mrc ?

Merci par avance pour votre aide.

[guenfood]

J'ai un début de solution.
J'ai créé un script de commande qui m'exécute ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
echo off
For /L %%i IN (9782000000000,1,9799999999999) do chrome.exe http://www.librairiedialogues.fr/ws/book/%%i/unimarc_utf-8/
exit

Le hic pour le moment, c'est que la commande DOS ne prend pas l'intégralité du nombre généré et le coupe avec un ~, donc cela n'ouvre pas les bonnes pages.
Le deuxième hic, c'est qu'il faudrait qu'à chaque fois, cela me ferme l'onglet du navigateur ouvert pour ne pas me retrouver avec des milliers d'onglets ouverts.

Si quelqu'un a une piste...

[sachadee]

En bat ça va être compliqué, je te conseille le VBS ou autre.

Je t'ai fait un script autoit qui te fais ce que tu veux le voici :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
#include <Misc.au3>

$val = 9782000000000

while $val <= 9799999999999
   SplashTextOn("","Traitement de : " & $val & @CRLF & "Esc pour annuler", 200, 80)
   InetGet("http://www.librairiedialogues.fr/ws/book/" & $val & "/unimarc_utf-8/", "f" & $val & ".txt")
   $val = $val + 1
   If _ispressed("1B") Then ExitLoop
   WEnd
   splashoff()
   MsgBox("","","Traitement Terminé")

Tu peux télécharger l'exe ici : http://www.sendspace.com/file/8r67aj

J'ai fait un test et j'ai remarqué qu'il y a beaucoup de page qui n'existe pas,
mais voilà il va toutes les faires une par une et télécharger celle qui existe.

Il va sauver les fichiers dans le repertoire où tu as lançé l'exe sous la forme :
fNumero.txt (f9782000000000.txt par exemple)

Enjoy !

[guenfood]

Super.
Ca marche impeccable.
Merci beaucoup pour l'aide.

[guenfood]

Après plusieurs jours, le script tourne toujours (énormément de fichiers à télécharger).
L'ordi étant monopolisé H24 depuis ce temps et souhaitant le libérer un peu, je me demandais s'il était possible de retranscrire ce script pour que cela puisse s'exécuter directement depuis la freebox v6 (un peu comme c'est fait ici).

[minnesota]

Salut,

Tu parles que ça te prend du temps, tu fais 10 fois plus de requêtes que nécessaire; pour 10 000 requêtes supposées valides, tu fais au minimum 90 000 requêtes invalides et inutiles. Renseigne-toi sur le code EAN 13 et en particulier la clé de contrôle... Ensuite y'a moyen d'accélérer le téléchargement en réutilisant les informations de session et en demandant un transfert compressé au serveur, suivant la taille des fichiers, ça peut te faire gagner de nombreuses heures.

[guenfood]

Salut,

Tu parles que ça te prend du temps, tu fais 10 fois plus de requêtes que nécessaire; pour 10 000 requêtes supposées valides, tu fais au minimum 90 000 requêtes invalides et inutiles. Renseigne-toi sur le code EAN 13 et en particulier la clé de contrôle... Ensuite y'a moyen d'accélérer le téléchargement en réutilisant les informations de session et en demandant un transfert compressé au serveur, suivant la taille des fichiers, ça peut te faire gagner de nombreuses heures.

Salut,

Merci pour ton commentaire. C'est très intéressant.
je suis un Noob en programmation, et sans Sachadee, j'en serais toujours au point zéro.
Pour les fichiers, ils ne sont pas lourds. Ils pèsent 1ko chacun environ.
Je suis tombé sur un site qui expliquait la clé de contrôle qui est en place pour le code ISBN 13 : http://therese.eveilleau.pagesperso-...extes/cles.htm
Mais pour la mise en place en code...

[minnesota]

Regarde plutôt ces liens-là :

http://fr.wikipedia.org/wiki/ISBN-13..._barres_EAN-13
http://fr.wikipedia.org/wiki/EAN_13
http://www.gomaro.ch/lecheck.htm

Si j'ai le temps lundi, je verrais ce que je peux faire pour te dépanner, en batch + curl éventuellement. Pour quelque chose d'optimisé et rapide, une analyse partielle du site sera nécessaire. D'ici là, je pense que Sachadee sera en mesure d'intervenir pour le calcul d'un ISBN valide avant requête.

[guenfood]

Merci beaucoup pour les liens. Il y a des informations très intéressantes.

Merci aussi pour ton intervention et ton aide.

[sachadee]

Salut Guenfood et Minnesota,

Je viens de lire les nouveautés...

Effectivement j'avais même pas remarqué que ce numéro ce réferrait à un code barre.

Alors voilà le code modifié qui test si le "EAN Bookland" est valide.
Si il est valide on test un téléchargement.
On pourrait tester si lURL est valide avant de tester le téléchargement, mais je doute que le gain de temps soit intéressant.

Voilà Ceçi va te faire gagner énormement de temps.
(merci minnesota )

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
#include <Misc.au3>

Local $val = 9782000000000

while $val <= 9799999999999
   If _DownOrNot($val) = 1 Then 
	  SplashTextOn("","Traitement de : " & $val & @CRLF & "Esc pour annuler", 200, 80)
	  InetGet("http://www.librairiedialogues.fr/ws/book/" & $val & "/unimarc_utf-8/", "f" & $val & ".txt")
	  Sleep(50)
	  EndIf
   $val = $val + 1
   If _ispressed("1B") Then ExitLoop
   WEnd
   splashoff()
   MsgBox("","","Traitement Terminé")
   
Func _DownOrNot($ValT)
   local $Vt = 1
   Local $ValCheck = 0
   Local $EAN = StringSplit($valT,"")
   while $Vt <= 12
	  If Mod($Vt, 2) = 0 Then
         $ValCheck = $Valcheck + ($EAN[$Vt] * 3)
	  Else
		 $ValCheck = $Valcheck + $EAN[$VT]
		 EndIf
		 $Vt = $Vt + 1
	  wend
	  $Valcheck = $Valcheck /10
	  $Valcheck = StringSplit($valCheck,".")
	  If $Valcheck[0] = 1 Then
		 $DigitVerif = 0
	  Else
		 $DigitVerif = 10 - ($ValCheck[2])
		 EndIf
	  if $DigitVerif = $EAN[13] Then
		 Return 1
	  Else
	  Return 0
	  EndIf
   EndFunc

Et le lien de l'exe : http://www.sendspace.com/file/h74riq

Juste une petite question : Ce programme tu dois le lancer souvent ou juste une fois ?

[guenfood]

Merci énormément.

Je vais tester ça.
Pour l'exe, je le lance une seule fois, pour tout télécharger.
Pour la suite, je ferais les mises à jour (pour les nouveautés) manuellement environ 1 fois par semaine.
Faire un programme qui va chercher uniquement les nouvelles fiches, vu le nombre de fiches existantes, serait sans doute trop fastidieux.

[sachadee]

Faire un programme qui va chercher uniquement les nouvelles fiches, vu le nombre de fiches existantes, serait sans doute trop fastidieux.

Il suffit de sauver toutes les valeurs valides qui n'ont pas abouties à un téléchargement et ensuite boucler sur ces valeurs pour télécharger d'éventuelles
nouveautés.

Maintenant c'est clair que si il y a 1 nouveauté par semaine c'est peut-être plus simple de les inclures manuellement. Que de rescanner des millions de possibilités.

A toi de voir, au niveau programmaion c'est simple.

[guenfood]

Les chiffres de l'édition révèlent que chaque année, il y a 79300 nouveautés qui paraissent sur le marché.
Soit.... 1512 par semaine.
Finalement, je vais réfléchir sur la solution que tu proposes

Edit : Je suis tombé sur ça en faisant des recherches sur l'ISBN.
Peut-être un moyen de réduire encore la plage de recherches des ISBN si j'ai bien compris ce qui y est dit : http://www.isbn-international.org/agency

[sachadee]

Effectivement si il y a des plages que l'on peut éliminer ça diminuerais encore le temps de recherche.

Donc analyse la chose et donne moi les plages qui ne sont pas intéressantes pour toi et passes moi les valeurs.

On incluera directement la génération d'une sauvegarde des valeurs pouvant être retestées ultérieurement.

[guenfood]

Je suis en train de vérifier tout ça.
Les plages données dans le lien ci-dessus sont bien les bonnes.

Cependant, j'ai du mal à saisir la structure de base de l'ISBN. Je viens de regarder ce doc, qui parle de la notion de "Range" : http://isbn-international.org/pages/...ngeMessage.pdf

Et je me demande où ce situe ce "range" dans l'ISBN. Juste avant la clé de contrôle ? Juste après le 9782 ?

Le "Range" est en 7 caractères maximum et entre le 9782 et la clé de contrôle, il y a 8 caractères.

[sachadee]

D'après moi ça doit-être les derniers numéro et le reste remplie de 0

exemple :

prefix : 978-2
range : 35000 - 39999

978200035000[NV] (NV = Numéro Verificateur)

jusqu'a

978200039999[NV] (NV = Numéro Verificateur)

A vérifier

[guenfood]

C'est ce que je croyais, mais voilà un ISBN qui montre que cela doit être autre chose :
9782868781079

9782 -> OK
86878107 -> NOK (plage maximum = 9999999)
9 -> OK (clé de contrôle)


Je viens de trouver un manuel d'utilisation de l'ISBN : http://www.afnil.org/pdf/Manuel%20d%...20l%27ISBN.pdf

A partir de la page 29, on y explique la distribution des séquences. J'essaye de comprendre le fonctionnement.

[minnesota]

Salut tout le monde,

[EAN.UCC prefix]-[Group Prefix]-[Registrant]-[book]-[check-digit]

<Prefix> - [Group Prefix]
<Range> - [range] (padded to maximum 7 digits)
<Length> - [length] defined for range (zero indicates range not defined for use)

Entre le "country code" EAN, 978 ou 979, en l'occurrence ici "bookland", ils ne se sont pas foulés, et le chiffre ou la clé de contrôle, il y a 9 chiffres.

Sur ces 9 chiffres, il y a trois informations séparées par des tirets ou des espaces dans le code ISBN, ce qui fait qu'en théorie et au minimum, chaque information est représentée par 1 chiffre, et au maximum par 7 chiffres, le tout ne dépassant pas 9 chiffres. En premier, de gauche à droite, donc juste après le "bookland", il y a le code groupe (code langue ou code pays), ensuite vient le code organisme (une organisation, un éditeur) puis suit le numéro d'identification du livre.

dans le fichier XML correspondant au lien que tu pointes, si on prend l'extrait suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
    <Group>
      <Prefix>978-612</Prefix>
      <Agency>Peru</Agency>
      <Rules>
        <Rule>
          <Range>0000000-2999999</Range>
          <Length>2</Length>

lenght étant la longueur du code organisme, ceci se traduit par une plage ISBN allant de
978-612-00-0000-X à 978-612-29-9999-X

un autre exemple avec le groupe 2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
    <Group>
      <Prefix>978-2</Prefix>
      <Agency>French language</Agency>
      <Rules>
          <Rule>
          <Range>3500000-3999999</Range>
          <Length>5</Length>
        </Rule>

Ici, on a une plage ISBN qui s'étend de
978-2-35000-000-X à 978-2-39999-999-X

Si on fait ça pour toutes les plages codes éditeurs du groupe 2, on constate que ce groupe 2 est saturé. Ainsi, dans les faits, les codes EAN du groupe 2 s'étalent de 978200000000X à 978299999999X. Saturé dans le sens où toutes les plages de ce groupe sont attribuées (et donc réservées), mais ça ne veut pas dire que toutes les valeurs possibles ont été utilisées.

[guenfood]

Merci pour cette explication. C'est plus compréhensible dit comme ça.

Pour résumer, le code de Sachadee est déjà le plus adapté puisqu'il balaye déjà toute la plage de 978200000000X à 978299999999X.

Difficile d'optimiser davantage, donc. Il ne reste donc plus qu'à prendre en compte la génération d'une sauvegarde des valeurs "vides" pouvant être retestées ultérieurement.

[minnesota]

Pour l'optimisation, si, il y'a moyen de faire quelque chose d'extrêmement puissant et rapide, mais ça vas augmenter la charge du serveur et ça risque de porter préjudice au site en question. Je te laisse imaginer le carnage s'il y a des libraires qui nous lisent et qui décident d'utiliser ce même aspirateur performant sur le site. Il faudrait lire les conditions d'utilisation du site, mais je doute qu'on soit dans notre bon droit. Après, j'ai vu qu'il y a des serveurs faits pour ça. T'as pas un client Z39.50 auquel tu donnerais ta liste d'ISBN et qui s'occuperait de rapatrier les fiches correspondantes pour toi ? As-tu essayé http://www.moccam-en-ligne.fr/ ? Ça semble être l'un des rares sites dédiés et gratuits...

P.-S. Ah oui, faut pas oublier la nouvelle plage pour la France qui va de 979100000000X à 979109999999X. Elle doit probablement être bien vide, mais elle existe.