[langage]Synchronisation de script

Bonjour je travaille actuellement sur un projet de moteur de recherche spécialisé dans l'automobile :D , pour le robot ont c'est basé sur un script qui est sur ce forum en page 4 (si, si).

Nous voudrions savoir si il existe un moyen de faire via SSH ou Telnet, tourner 4 instances du robot sur 4 pc différents les 4 robots communiquant via le net et remplissant la base de donné Mysql ?.

J'ai fait de longue recherche sur le sujet et je n'est rien trouvé a ce propos :? . Je sais pas si c'est utile mais les 4pc tourne sous Windows Server 2003 enterprise edition.

Personne veut m'aider :piou: :help:

Salut

Je voudrais comprendre : tu veux faire tourner le même script sur 4 PC différents ? Je vois pas ce qu'il y aurait de néfaste là dedans à priori.
Maintenant, il ne faut pas que les 4 scripts remplissent la base de manière redondante. Mias j'ose espérer que tu as déjà prévu le coup ;)

@++

Oui ont a prévue le coup dans le script en lui même et aussi dans Mysql avec des closes Unique , ont est jamais trop prudent.

Alors, ça devrait être jouable.

@++

En parlant de doublon cette soluce m'intéresse beaucou



http://www.developpez.net/forums/vie...er=asc&start=0


voci le comm

Citation:

---

c'est a dire qu'il prend tellement de place en RAM que tu n'en as plus en quantite suffisant, donc le systeme d'exploitation passe son temps a ecrire les debordements sur disque. Ce qui pourrait ralentir le processus.

En regardant de plus pres ton histoire de Array_Unique, tu galeres parce que tu as choisi le mauvais outil. Au lieu d'utiliser un array, utilise un hash a la place, et le probleme n'existe plus.

Quand tu recuperes les links d'une page, tu les mets dans le hash. Attention, on doit verifier que le link n'est y psa deja, sinon deux pages qu'on spider qui pointe sur une troisieme page serait suffisant pour qu'on considere qu'on la deja vu :

---

Code:

---

1 2 3 4 5

my %vu; ...   exists $vu{$_} or $vu{$_} = 1 for @startlinks;

---

Citation:

---

Ensuite, on choisi un link a partir du hash %vu qui vaut 1 (donc :qu'on vient d'inserer), et une fois qu'on le prend pour visiter, on l'incremente, qui aura comme objet d'eviter de le prendre une deuxieme fois

---

Code:

---

1 2 3 4 5 6 7 8 9 10 11

my $nbre_visite; do { $nbr_visite = 0; while( my $start = each %vu ) { if $vu{$start} == 1 ) { ++$vu{$start}; ++$nbre_visite; visite($start); } } } while $nbre_visite > 0;

---

Citation:

---

Si on a visite au moins un link dans la liste, on reboucle pour respiderer quelque chose d'autre. Si on ne visite rien, alors on a tout visite et on sort

Dans ce context, tu n'as qu'a partager %vu entre tes threads, et tu crees floppee de threads sur la routine visite()

Remarque : c'est un peu con de spiderer des images : tu ne vas pas y trouver de liens vers d'autres pages...

N

---

Par contre moi aussi j'ai pas pigé comment mettre sa dans le script

Tu fais comme j'ai fait moi, et ça marche pas parce que le module HTML::Parser n'est pas thread-safe... :(

Sinon tu peux te bricoler quelque chose qui fait à peu près pareil que Link::Extor avec des regex pour régler le problème.
(Pourquoi tout le monde saute mon message sans même y jeter un coup d'oeil ?)

--
Jedaï

Heu t'est sur sinon les regXp en question tu a une idée ??

:help:

siaoly, peux-tu préciser ce qui te chagrine ?

Ce qui me chagrine c'est comment faire communiqué entre eux les robots par le net. Ont a aucune idée de comment faire :?

Citation:

---

Bonjour je travaille actuellement sur un projet de moteur de recherche spécialisé dans l'automobile :) , pour le robot ont c'est basé sur un script qui est sur ce forum en page 4 (si, si).

Nous voudrions savoir si il existe un moyen de faire via SSH ou Telnet, tourner 4 instances du robot sur 4 pc différents les 4 robots communiquant via le net et remplissant la base de donné Mysql ?.

J'ai fait de longue recherche sur le sujet et je n'est rien trouvé a ce propos Confused . Je sais pas si c'est utile mais les 4pc tourne sous Windows Server 2003 enterprise edition.

---

Citation:

---

Envoyé par siaoly

Ce qui me chagrine c'est comment faire communiqué entre eux les robots par le net. Ont a aucune idée de comment faire :?

...
Nous voudrions savoir si il existe un moyen de faire via SSH ou Telnet, tourner 4 instances du robot sur 4 pc différents les 4 robots communiquant via le net et remplissant la base de donné Mysql ?.

---

Telnet n'est pas adapté, ce n'est un protocole de transport de données.

Tu as plusieurs choix : ftp, rsync, rsync sur tunnel ssh, ou scp/sftp. Le premier se gère triviallement avec Net::FTP. Les autres se gère facilement avec la fonction system() de Perl. Tu devrais utiliser des clefs RSA/DSA pour simplifier authentification dans les cas s'appuyant sur ssh.

Tu crawles sur tes 4 PCs, et tu crées un fichier de résultat par requête, que tu dépose sur le serveur central dans un dossier fixe. Il vaut mieux créer un sous-répertoire par PC déposant, pour ne pas avoir à gérer des collisions des noms de fichiers.

Ensuite, sur ton serveur tu écris un programme qui balaie ces répertoire à périodicité fixe pour prendre les fichiers déposés, les lire, et insérer les résultats dans la base.

N

J'ajouterais à ce que dit l'excellent nematoad (bien un nom de bioinformaticien :wink: ) qu'il existe des modules gérant ssh et scp sur CPAN, donc http://perl.developpez.com/cpan.gif

@++