Parcourir le web en entier c'est possible ?

Bonjour,

je ne savais trop ou poser ma question, alors voilà, je me demandais si c'est possible en théorie, car il y a sans doute des centaines de millions de site sur le net, mais en théorie, si on voudrait visiter chaque site web, est-ce que on pourrait taper dans le navigateur ou faire un robot qui ferait une connexion tcp/ip en se connectant sur chaque addresse ip possible ? de 0.0.0.0 à 255.255.255.255 ?

Je sais qu'il y a des plages d'addresse ip réservé, mais laquelle est réservé pour le web ? De plus ça ne doit pas être toutes les ip qui peuvent être rejoint par http, il y a nécessairement des serveurs ftp, d'autres https, etc.

Mais est-ce suffisant pour tout les parcourir en partant de 0 à 255 ?

J'aimerais discuter du sujet surtout pour ma culture personnelle.

Merci :)

Parcourir par adresse IP est loin d'être suffisant....
En effet il peut y avoir des dizaines voir des centaines de sites sur une même adresse IP....

Et quand bien même on considère qu'il n'y ai qu'un site par IP:
Il te faudrait parcourir toutes les adresses routable:

en IPv4 ca te fait déjà un bon paquet d'adresse..... Mais quand on va passer en IPv6 il te faudrait des siècles pour toutes les parcourir.....

En fait pour le faire il faudrait que ton robot agisse comme google...
Il suit tous les liens hypertexte qu'il trouve........

Mais vu l'évolution en continue du web et de son contenu.... quand le robot arrivera à la fin il n'en sera finalement qu'au début.......

Ok, il y a plusieurs site par ip ? Comment se fait-il ?

Je sais qu'il peut y avoir plusieurs ip qui pointent sur le même serveur, mais je ne pensait pas que l'inverse était envisageable.

C'est sûr que ça prendrait des siècles. Par contre je me demandais pour ipv6 est-ce que les serveurs dns ont mis à jour leur base de données pour pouvoir taper une address v6 dans le naviguateur ?

J'ai essayé de trouver un dns lookup ipv6 pour trouver l'addresse ipv6 d'un domaine disons google.com et je n'ai pas trouvé encore..

oui plusieurs site par IP.
car (en général), une IP = un serveur
mais un serveur = plusieurs sites.

Par exemple, l'hébergement mutualisé te permet d'héberger ton site chez un prestataire de ton choix. Mais ils ne te donnent pas un serveur 'entier' dans ce cas là. Tu le partages avec d'autres clients, qui ont chacun leur site. Donc tous les sites de ce serveur ont la meme IP.
et y'a pleins de cas particuliers derriere ca ...

Ah oui bien sûr, mais sur un serveur dns, chaque ip pointe sur un site d'un serveur en particulier, mais le ip du serveur lui-même ne doit pas être sur les serveur dns ?

Citation:

---

Envoyé par AsmCode

Ah oui bien sûr, mais sur un serveur dns, chaque ip pointe sur un site d'un serveur en particulier, mais le ip du serveur lui-même ne doit pas être sur les serveur dns ?

---

Non, c'est l'inverse.
Dans un serveur DNS c'est un enregistrement qui pointe vers une IP

Tu peux avoir par exemple sur un serveur DNS:
toto.com IN A 22.22.22.22
titi.com IN A 22.22.22.22

Dans ce cas le site toto.com et titi.com sont hébergés sur la même machine...

Citation:

---

Envoyé par sebhm

mais un serveur = plusieurs sites.

Par exemple, l'hébergement mutualisé te permet d'héberger ton site chez un prestataire de ton choix.

---

Souvent c'est même un cluster avec des dizaines, centaines voire milliers de serveurs. Le tout hébergeant un nombre de site incroyable sur une seule IP.

Parcourir le web de lien en lien ne permettra jamais de trouver toutes les pages, loin de là. Une bonne part des pages n'ont aucun lien entrant soit parce qu'il ne faut pas (page d'admin), soit parce qu'il faut rentrer du texte dans un formulaire (cas par exemple où tu écrit une requête dans un moteur de recherche et il te génère une page dynamiquement).

Citation:

---

Envoyé par openaccess

Non, c'est l'inverse.
Dans un serveur DNS c'est un enregistrement qui pointe vers une IP

Tu peux avoir par exemple sur un serveur DNS:
toto.com IN A 22.22.22.22
titi.com IN A 22.22.22.22

Dans ce cas le site toto.com et titi.com sont hébergés sur la même machine...

---

Citation:

---

Souvent c'est même un cluster avec des dizaines, centaines voire milliers de serveurs. Le tout hébergeant un nombre de site incroyable sur une seule IP.

---

Bon on repose les choses et évitons les embrouilles.

Un dns permet de résoudre un nom par une adresse ip et inversement, dans l'exemple toto.com et titi.com cela ne veux pas dire qu'il sont héberger sur la même machine mais qu'il s'agit du même site faisant référence à des noms de domaine différent.

Pour ce qui est du mutualisé ou du cluster évoqué par openaccess, on ne dispose jamais d'une seule et unique adresse. Le cluster sert avant tout à effectuer du lowbalancing et non à héberger 50 site sur une adresse. la mutualisation sert à héberger plusieurs serveurs et donc plusieurs site sur un même serveur. cependant chaque serveur virtuel tournant dispose de ça propre adresse ip qui est la seule visible depuis l'extérieur.

Citation:

---

Envoyé par Vil'Coyote

Un dns permet de résoudre un nom par une adresse ip et inversement, dans l'exemple toto.com et titi.com cela ne veux pas dire qu'il sont héberger sur la même machine mais qu'il s'agit du même site faisant référence à des noms de domaine différent.

---

Attention pas forcement....
En terme d'architecture DNS pure si on veut mettre 2 domaines différents faisant référence au même site, on fait plutôt:

Code:

---

1 2 3

toto.com IN A 22.22.22.22 titi.com CNAME toto.com

---

Dans l'exemple que je voulais illustrer toto.com et titi.com ne sont pas le même site....
Ce sont bien 2 sites différents hébergé sur la même IP....