Discussion :

[siaoly]

Bonjour je travaille actuellement sur un projet de moteur de recherche spécialisé dans l'automobile , pour le robot ont c'est basé sur un script qui est sur ce forum en page 4 (si, si).

Nous voudrions savoir si il existe un moyen de faire via SSH ou Telnet, tourner 4 instances du robot sur 4 pc différents les 4 robots communiquant via le net et remplissant la base de donné Mysql ?.

J'ai fait de longue recherche sur le sujet et je n'est rien trouvé a ce propos . Je sais pas si c'est utile mais les 4pc tourne sous Windows Server 2003 enterprise edition.

[siaoly]

Personne veut m'aider

[GLDavid]

Salut

Je voudrais comprendre : tu veux faire tourner le même script sur 4 PC différents ? Je vois pas ce qu'il y aurait de néfaste là dedans à priori.
Maintenant, il ne faut pas que les 4 scripts remplissent la base de manière redondante. Mias j'ose espérer que tu as déjà prévu le coup

@++

[siaoly]

Oui ont a prévue le coup dans le script en lui même et aussi dans Mysql avec des closes Unique , ont est jamais trop prudent.

[GLDavid]

Alors, ça devrait être jouable.

@++

[siaoly]

En parlant de doublon cette soluce m'intéresse beaucou



http://www.developpez.net/forums/vie...er=asc&start=0


voci le comm

c'est a dire qu'il prend tellement de place en RAM que tu n'en as plus en quantite suffisant, donc le systeme d'exploitation passe son temps a ecrire les debordements sur disque. Ce qui pourrait ralentir le processus.

En regardant de plus pres ton histoire de Array_Unique, tu galeres parce que tu as choisi le mauvais outil. Au lieu d'utiliser un array, utilise un hash a la place, et le probleme n'existe plus.

Quand tu recuperes les links d'une page, tu les mets dans le hash. Attention, on doit verifier que le link n'est y psa deja, sinon deux pages qu'on spider qui pointe sur une troisieme page serait suffisant pour qu'on considere qu'on la deja vu :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
my %vu;
...
 
    exists $vu{$_} or $vu{$_} = 1 for @startlinks;

Ensuite, on choisi un link a partir du hash %vu qui vaut 1 (donc :qu'on vient d'inserer), et une fois qu'on le prend pour visiter, on l'incremente, qui aura comme objet d'eviter de le prendre une deuxieme fois

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
    my $nbre_visite;
    do {
        $nbr_visite = 0;
        while( my $start = each %vu ) {
            if $vu{$start} == 1 ) {
                ++$vu{$start};
                ++$nbre_visite;
                visite($start);
            }
        }
    } while $nbre_visite > 0;

Si on a visite au moins un link dans la liste, on reboucle pour respiderer quelque chose d'autre. Si on ne visite rien, alors on a tout visite et on sort

Dans ce context, tu n'as qu'a partager %vu entre tes threads, et tu crees floppee de threads sur la routine visite()

Remarque : c'est un peu con de spiderer des images : tu ne vas pas y trouver de liens vers d'autres pages...

N

Par contre moi aussi j'ai pas pigé comment mettre sa dans le script

[Jedai]

Tu fais comme j'ai fait moi, et ça marche pas parce que le module HTML:arser n'est pas thread-safe...

Sinon tu peux te bricoler quelque chose qui fait à peu près pareil que Link::Extor avec des regex pour régler le problème.
(Pourquoi tout le monde saute mon message sans même y jeter un coup d'oeil ?)

--
Jedaï

[siaoly]

Heu t'est sur sinon les regXp en question tu a une idée ??

[siaoly]

[GLDavid]

siaoly, peux-tu préciser ce qui te chagrine ?

[siaoly]

Ce qui me chagrine c'est comment faire communiqué entre eux les robots par le net. Ont a aucune idée de comment faire

Bonjour je travaille actuellement sur un projet de moteur de recherche spécialisé dans l'automobile , pour le robot ont c'est basé sur un script qui est sur ce forum en page 4 (si, si).

Nous voudrions savoir si il existe un moyen de faire via SSH ou Telnet, tourner 4 instances du robot sur 4 pc différents les 4 robots communiquant via le net et remplissant la base de donné Mysql ?.

J'ai fait de longue recherche sur le sujet et je n'est rien trouvé a ce propos Confused . Je sais pas si c'est utile mais les 4pc tourne sous Windows Server 2003 enterprise edition.

[nematoad]

Ce qui me chagrine c'est comment faire communiqué entre eux les robots par le net. Ont a aucune idée de comment faire :?

...
Nous voudrions savoir si il existe un moyen de faire via SSH ou Telnet, tourner 4 instances du robot sur 4 pc différents les 4 robots communiquant via le net et remplissant la base de donné Mysql ?.

Telnet n'est pas adapté, ce n'est un protocole de transport de données.

Tu as plusieurs choix : ftp, rsync, rsync sur tunnel ssh, ou scp/sftp. Le premier se gère triviallement avec Net::FTP. Les autres se gère facilement avec la fonction system() de Perl. Tu devrais utiliser des clefs RSA/DSA pour simplifier authentification dans les cas s'appuyant sur ssh.

Tu crawles sur tes 4 PCs, et tu crées un fichier de résultat par requête, que tu dépose sur le serveur central dans un dossier fixe. Il vaut mieux créer un sous-répertoire par PC déposant, pour ne pas avoir à gérer des collisions des noms de fichiers.

Ensuite, sur ton serveur tu écris un programme qui balaie ces répertoire à périodicité fixe pour prendre les fichiers déposés, les lire, et insérer les résultats dans la base.

N

[GLDavid]

J'ajouterais à ce que dit l'excellent nematoad (bien un nom de bioinformaticien ) qu'il existe des modules gérant ssh et scp sur CPAN, donc

@++