Problème avec un bot

Bonjour,

J'ai réalisé il y a quelques mois de cela un bot en C/C++ similaire dans son fonctionnement au bot de Google.
Ce bot utilise principalement Curl,winsock et libmysql et tourne sous une console DOS. Son but est de parcourir l'intranet de mon entreprise qui compte quand même presque 2000 serveurs afin d'inventoriser tous les site web présents et il y en a beaucoup: pour l'instant mon bot a déjà stocker 100.000 pages web (3,2Go) et il lui en reste environs 300.000,
donc, jusqu'ici ce bot fonctionne à merveille ! Mais où est le problème alors ? Et bien voilà tout comme sur internet, rien n'est homogène...
En effet, on trouve des serveurs apache, nginx, IIS et autres, mais cela n'est pas encore très grave. Ce qui par contre est très embêtant ce sont les différents type de charset utilisés pour la transmission de données... Donc pour résumer dés que je suis confronté à un serveur en UTF-8, où l'on parle le français... J'ai des petits problèmes de conversion de caractères...

En gros ce qui ce passe c'est:
[WEB SERVEUR UTF-8] --> [PROGRAMME C/C++ ANSI] --> [SERVEUR SQL LATIN1] --> [DATABASE UTF-8]

Donc le problème se situe entre la convertion de l'encodage UTF-8 par mon petit programme DOS qui hélas utilise un jeu de caractère OEM... Il y a bien ces deux fonction OemToChar et CharToOem pour passer de l'OEM à l'ANSI et vice versa mais cela n'est toujours pas parfait...

Je dois dire que je suis un peu perdu et je ne sais plus trop quoi faire pour solutionner ce problème...
J'ai parcouru beaucoup de forum et j'ai trouvé beaucoup de gens qui rencontraient ce même genre de problème... Hélas je n'ai pas encore trouvé de solution définitive et fiable.

Je ne publie pas les sources car il ne s'agit pas de corriger un bug mais simplement de trouver une procedure adéquate pour m'aider à solutionner ce problème... Et surtout je n'ai tout simplement pas envie de les publiers...
Pour l'instant mon bot est seul mais je travaille sur un bot Array pour augmenter l'efficacité et la rapidité de la version solo... Le plus dur étant la synchro entre bot et j'en attrape déjà des cheveux gris... Non en fait je suis déjà chauve donc je ne risque rien ;-)

Toutes les idées sont les bienvenues !

Bon j'y retourne