Quel moteur de recherche distribué ?

A partir d'un certain volume de donnée, ou lorsqu'on on atteint un trafic élevé, il n'est plus possible de fonctionner sur un seul serveur. Il faut alors mettre en oeuvre une solution répartie sur plusieurs serveurs.

Plusieurs techniques existent alors, des plus simples aux plus élaborées: répliquer l'index sur plusieurs serveurs, subdiviser l'index en autant de sous index que nécessaire, etc.

Avez-vous été amené à répondre à ce problème ? Quelle solution avez-vous mis en oeuvre ?
Envisagez-vous, à court ou à moyen terme, une évolution de ce type ? Quelles solutions avez-vous évalué ?