Discussion :

[_Gons]

Bonjour à tous,

Je vous explique ma demande de conseil :

L'entreprise dans laquelle je travaille a réalisé plusieurs actions avec des inscriptions d'utilisateurs sur plusieurs sites web (sous Wordpress ou non). Nous avons donc beaucoup de données (qui se se recoupent parfois). Nous évaluons à 50.000 utilisateurs différents (adresses email) qui sont déjà passés par nos services. Nos données peuvent provenir de fichiers CSV ou de tables MySQL.

Nous avons pour projet de fusionner tous ces sites web disparates en un seul (type Drupal, solution conseillée pour l'instant par notre prestataire web) avec un espace personnel (type compte client).

Nous avons réalisé le schéma de notre future base de données sur Mysql Workbench. Notre but est d'intégrer dans cette base de données toutes nos archives avec un logiciel qui pourrait gérer les doublons (affichage d'une proposition d'action quand il en rencontre) et l'importation de fichiers CSV. Une fois notre nouveau site web créé par notre prestataire, il nous suffirait ensuite d'importer toutes ces données dans la base de notre nouveau site web créée suivant l'architecture que nous aurons communiquée à notre prestataire.

Dernière information : le nombre de personnes connectées simultanément n'excède actuellement pas 40-50 utilisateurs et ne dépassera sûrement pas à terme quelques centaines.

Ma question est la suivante : Quel logiciel (gratuit si possible, payant si nécessaire) pourrait nous aider à gérer notre base de données et insérer nos archives avant que notre nouvelle plateforme ne soit prête ? Cette façon de fonctionner vous semble-t-elle correcte ?

[StringBuilder]

Bonjour,

Je suis un peu perdu par rapport à votre demande.

Ça me donne l'impression de mettre la charrue avant les bœufs, mais aussi de mélanger les choux et les carottes.

En effet, si je comprends bien :

Le Passé
Vous aviez jusqu'à présent un éventail hétérogène de sources de données (sites divers) contenant chacun son problème modèle des données, sous diverses présentations (bases MySQL, CSV, Excel, autre.)

Le Futur
Vous allez consolider toutes ces bases de données en une seule, avec un CMS ou je ne sais quoi (c'est pas mon domaine) nommé DURPAL.

Le Présent
Vous voulez consolider les données du passé dans une nouvelle base de données, modélisée par vos soins, sur un SGBD que vous nous demandez de conseiller, pour pouvoir ensuite injecter les données dans DURPAL, votre futur système.

Honnêtement, je ne comprends pas très bien la démarche.

Déjà, DURPAL, c'est quoi exactement ? Un simple Framework ou un CMS ? Dispose-t-il de son propre modèle de données ? Si oui, est-il paramétrage/extensible ?

Si DURPAL dispose de son problème modèle des données déjà établi, il ne sert à rien de vous lancer dans une modélisation aux petits oignons... Puisqu'il faudra refaire le travail pour faire entrer des carrés dans des trous ronds lors de la mise en place de DURPAL.

Si DURPAL n'est qu'une GUI qui peut se greffer sur n'importe quel modèle des données, c'est à votre hébergeur/intégrateur Web de vous préconiser le SGBD à utiliser. Car au final, ce serait dommage de choisir un produit X pour qu'on vous impose au final un produit Y non compatible (chaque SGBD apporte son lot de limitations et de fonctionnalités propres).

Dans tous les cas, j'ai l'impression que vous vous précipitez un peu et que vous allez perdre votre temps à vouloir effectuer la consolidation des données avant que votre intégrateur Web n'ait mis en place DURPAL (ou autre outil si plus adapté).

Sinon, dans les grandes lignes, vous avez :
- MySQL : très répandu, plus ou moins gratuit, bien pourri à souhait, mais c'est le standard chez les hébergeurs PHP, ce qui est très certainement le langage de DRUPAL
- SQL Server, dont la version Express qui est gratuit : vous disposez d'une Rolls Royce, mais pas moyen d'héberger sur autre-chose que Windows. Si vous êtres hébergés sous Windows, essayez de faire le forcing pour ce SGBD.
- PostGreSQL que je ne connais presque que de réputation : en passe de supplanter MySQL, car de plus en plus proposé, et proche de SQL Server niveau fonctionnalités. Si vous êtes hébergés sur Linux, essayez de faire le forcing pour ce SGBD.

Après, il en existe beaucoup d'autres. Et vos besoins n'ont pas l'air bien compliqués (données assez statiques, pas de flux complexes, volumétrie de type timbre poste, etc.).
Donc même une base fichiers ferait l'affaire, tout comme un SQL Lite ou Access.

Bref, mais surtout, il est impératif de repenser à ce que je vous ai dit au début de mon post : attendez d'avoir l'outils "du futur" entre les mains avant de commencer quoi que ce soit au niveau reprise des données, sinon vous allez perdre votre temps.

[CinePhil]

Pas bien compris le besoin non plus mais clairement, si le but est de migrer les données vers Drupal, demandez cette prestation à votre intégrateur web pare que ça va être un travail costaud !

Drupal est un CMS qui a son propre modèle de données (mal foutu, comme pour la plupart des CMS et autres outils open source du même genre). On peut faire énormément de choses avec Drupal mais c'est la conception du site qui va déterminer quelle donnée faire rentrer où. Encore une fois, c'est un jeu très compliqué !

Si vous voulez seulement récupérer les utilisateurs des différents sites pour en faire les utilisateurs de votre futur site Drupal, c'est déjà plus simple.

Précisez votre besoin.

[_Gons]

Le Passé
Vous aviez jusqu'à présent un éventail hétérogène de sources de données (sites divers) contenant chacun son problème modèle des données, sous diverses présentations (bases MySQL, CSV, Excel, autre.)

Le Futur
Vous allez consolider toutes ces bases de données en une seule, avec un CMS ou je ne sais quoi (c'est pas mon domaine) nommé DURPAL.

Le Présent
Vous voulez consolider les données du passé dans une nouvelle base de données, modélisée par vos soins, sur un SGBD que vous nous demandez de conseiller, pour pouvoir ensuite injecter les données dans DURPAL, votre futur système.

C'est assez bien résumé, oui.

Déjà, DURPAL, c'est quoi exactement ? Un simple Framework ou un CMS ? Dispose-t-il de son propre modèle de données ? Si oui, est-il paramétrage/extensible ?

DRUPAL est un CMS qui possède une architecture propre et qui est fort paramétrable selon le prestataire qui a vu notre schéma de base de donnée et qui nous a dit que c'était tout a fait le genre de base de données gérable par Drupal.

Si DURPAL dispose de son problème modèle des données déjà établi, il ne sert à rien de vous lancer dans une modélisation aux petits oignons... Puisqu'il faudra refaire le travail pour faire entrer des carrés dans des trous ronds lors de la mise en place de DURPAL.

C'est un peu ce dont j'ai peur. Je pensais que l'on pourrait toutefois retravailler légèrement nos données pour une intégration rapide dans la base de donnée de DRUPAL.

Sinon, dans les grandes lignes, vous avez :
- MySQL : très répandu, plus ou moins gratuit, bien pourri à souhait, mais c'est le standard chez les hébergeurs PHP, ce qui est très certainement le langage de DRUPAL
- SQL Server, dont la version Express qui est gratuit : vous disposez d'une Rolls Royce, mais pas moyen d'héberger sur autre-chose que Windows. Si vous êtres hébergés sous Windows, essayez de faire le forcing pour ce SGBD.
- PostGreSQL que je ne connais presque que de réputation : en passe de supplanter MySQL, car de plus en plus proposé, et proche de SQL Server niveau fonctionnalités. Si vous êtes hébergés sur Linux, essayez de faire le forcing pour ce SGBD.

Nous sommes pour l'instant hébergé sous linux avec un serveur pivé MySQL chez OVH. Drupal fonctionne également sous MySQL et peut fonctionner sous PostGreSQL mais ce n'est pas encore très répandu.

Pas bien compris le besoin non plus mais clairement, si le but est de migrer les données vers Drupal, demandez cette prestation à votre intégrateur web pare que ça va être un travail costaud !

Drupal est un CMS qui a son propre modèle de données (mal foutu, comme pour la plupart des CMS et autres outils open source du même genre). On peut faire énormément de choses avec Drupal mais c'est la conception du site qui va déterminer quelle donnée faire rentrer où. Encore une fois, c'est un jeu très compliqué !

Si vous voulez seulement récupérer les utilisateurs des différents sites pour en faire les utilisateurs de votre futur site Drupal, c'est déjà plus simple.

Précisez votre besoin.

Nous pensions confier cette tâche à un étudiant vu le nombre d'heures que cela va prendre et vu le tarif horaire de ce prestataire.
Nous avons plusieurs inscriptions (remplissage de formulaires) via la même adresse email. Notre but est de les détecter, de créer un id utilisateur pour cette adresse email et de relier les différentes inscriptions à cette personne. C'est le plus gros challenge de consolidation on va dire (environ 200.000 inscriptions pour 50.000 adresses email différentes).


Réponse à la question "pourquoi ne pas attendre notre outil final avant de commencer à consolider notre base ?" :
Car nous souhaitons éviter d'envoyer des emails à toute notre base. Nous souhaitons contacter uniquement les personnes intéressées à un service particulier (comprendre qui se sont déjà inscrites à ce service particulier, sachant que nous en offrons plusieurs).

[StringBuilder]

Alors c'est très simple :

Mettez-vous d'accord avec votre prestataire sur un format d'import (la plupart des outils ont un programme permettant d'injecter des données en masse via fichier plat).

Optez pour un format Excel ou CSV si possible. Si vraiment vous avez des données arborescentes, optez pour XML.

Gardez en tête que votre étudiant, même en 5ème année d'ingénieur :
- est une bille en informatique
- va péter un plomp s'il doit faire un travail fastidieux dans un outil inadapté
- va faire de la merde et il faudra pouvoir contrôler

Excel est donc particulièrement adapté, puisque :
- simple à utiliser et à prendre en main, donc même un chômeur longue durée de 50 ans qui n'a jamais vu un PC saura l'utiliser au bout de quelques heures
- permet de travailler de façon visuelle, avec plusieurs fichiers simultanément, etc.
- grâce aux formule et la représentation lisible des données, permet de contrôler facilement les données

Donc en gros, faites-lui faire des copier/coller dans Excel, dans des fichiers au format bien défini (nombre et ordre des colonnes).

Ensuite vous envoyez tout le lot à votre prestataire qui n'aura qu'à appuyer sur un bouton pour charger les données dans votre CMS.