Discussion :

[benf35]

Bonjour,

J'espère tout d'abord que mon sujet se situe dans la bonne partie.

Dans le cadre d'un projet, je dois réfléchir à tout ce qu'il faut penser avant la mise en place d'une solution informatique avec une lourde volumétrie de données. J'ai identifié plusieurs points qui me semblent intéressants, et j'imerais que vous me donniez votre avis là dessus. Aussi, si vous pensez que j'oublie des choses, d'autres points auxquels il faut réfléchir avant de faire un choix de solutions, j'aimerais que vous m'en fassiez part.
Voici les points que j'ai trouvés :

• Stockage (fichier, BDD ..?)
• Traitement des données (par ex traitements batch)
• Structure des données (
• Diffusion des données

Pour chacun de ces points, je dois réfléchir aux coûts, à la technologie/le matériel à utiliser, s'ils possèdent différents critères qui permettent la fiabilité, l'intégrité, la sécurité des données.

Voilà! J'aimerai avoir votre avis là dessus, ainsi que sur les critères de sélection

Merci !

[CinePhil]

lourde volumétrie de données

Lourde comment ?

- Des milliards de lignes de bases de données ?
- Des centaines de milliers de fichiers ?

[benf35]

Bonjour,

En fait l'un puis l'autre dans mon cas (mais les données sont initialement fournies via des fichiers de millions de lignes), mais je voulais d'avantage avoir une vue d'ensemble sur ce qu'il est possible de faire, ou même ce qui me permettrait de choisir une solution plutôt qu'une autre.

Comme je le disais, c'est plutôt des éléments de réflexion autour de la gestion d'une grande volumétrie que je recherche, des critères me permettant de faire des choix.

[Logan Mauzaize]

Des millions, des centaines de millions d'enregistrement, ca se gère dans un SGBDR.

Après ca dépend ce que tu veux en faire.

[benf35]

Oui, c'est une solution possible en ce qui concerne le stockage de données.
Mais il n'y a pas que cet aspect qui m'intéresse, il y a aussi tout ce qui peut exister pour traiter, diffuser une grande quantité de données. Par exemple l'utilisation du batch processing ou de ce genre de chose. Comme je l'ai déjà évoqué, j'essaie de voir à quels niveaux une grosse volumétrie peut-elle engendrer comme impacts : au niveau du stockage donc, du traitement, de la diffusion... et je voulais savoir à quels autres niveaux il pouvait y avoir des impacts. Je suis d'accord que cela dépends de l'application, mais je voulais me détacher d'un contexte particulier, et voir un peu plus large.

[Logan Mauzaize]

Pour le traitement, ca dépend vraiment de ce que tu veux en faire :

• Traiter au fil de l'eau (pre/post-insertion) VS batch
• Mise à jour VS création de nouveaux enregistrements
• Transactionnel ou non

Chaque choix différent à l'une de ces trois questions, impliquera nécessairement des solutions différentes.

Pour la diffusion massive de données, le mieux c'est d'avoir un mode "compact" (ex : fichier unique compressé, ETL, etc.) Ou alors un mode "delta". Après la notion de diffusion peut prendre un autre aspect comme la réplication (ex : Oracle dataguard, MongoDB replicaset, ...).

Je pense également qu'il manque la distinction entre traiter un grand volume et un grand débit.

[CinePhil]

Autre chose à considérer :
- s'il s'agit d'un grand volume de données statiques (jamais mises à jour ou presque) et sans lien entre elles => voir du côté des outils big data nosql.
- s'il y a un besoin d'intégrité référentielle entre les données avec des insertions et des mises à jour au fil de l'eau => SGBDR.

Quant à la diffusion des données, la problématique sera différente - et les solutions techniques qui en découleront - s'il s'agit de diffuser une (relativement) petite quantité de données à un grand nombre d'utilisateurs potentiels simultanés ou s'il s'agit de diffuser un gros volume de données à chaque utilisateur, même si ces derniers sont peu nombreux.

[benf35]

C'est exactement le genre de réponse que j’attendais.

Les points que vous avez relevés sont très intéressants et vont me permettre d'avancer, merci