Discussion :

[azstar]

Bonjour,

je suis entrain de faire un historique sur des données (10 données ) que je récolte tout les 10 s pour les enregistre a une passe de base de données (avant de les enregistre au BD je fait une traitement) de tel sort que j'ai 24h de données c'est à dire ;si ma première donnée est daté de 4/11/2010 10:47:00 demain de doit écrase cette données avec une autre.

mais le traitement des données prend de différents temps,ce qui fait que le nbre d'enregistrement dans une 1h sont différents d'une heure à une autre (au max j'ai (60*60)*10/10 = 3600données )

je envoi au DB les données que j'ai récolté chaque 1h.

NB : que cette opération faite par plusieurs machines qui envoient leurs données à cette BD.

alors si j'ai 600 machines.

alors j'ai au max
3600*24*600 = 51840000 données par jours

vu le nbre de données que j'ai a les enregistre je me suis dit que je doit faire en sort de les données de chaque machine sur une seule ligne .
et de faire de chaque champ de ma table de DB un buffer circulaire.
mais la taille de données de mes champs sont aussi différents.
seuls deux champs qui sont de taille fixe.

voila je cherche un solution qui peut m'aide non seulement de résoudre le problème de historique (je dispose a ma BD seulement de 24 h de données ) mais résoudre le problème des nbr de ligne de ma table de BD.

[ostenhard]

Bonjour,

Peux-tu réexpliquer ce que tu souhaites faire car utiliser une BDD et notamment une table comme une pile c'est un peu bizarre ?

Que ta table contienne plus de données que 24H c'est pas bien grave, pour le consulter il suffit de filtrer les plus anciennes.

Après étant donné le potentiel volume de données, il faudrait prévoir une purge.
C'est vrai 51 millions de ligne par jour c'est beaucoup, donc la purge est à prévoir, donc en gros ta table avec une purge toutes les 24H devraient contenir au max 102 millions de ligne.

Remarque avec un tel volume de changement les index vont vite faire la gueule !

Précise un peu avant d'aller plus loin !

[bib34690]

Si j'ai bien compris, tu veut enregistrer dans un seul enregistrement de ta DB plusieurs récoltes d'une donnée, le nombre étant variable.
Ca ne me parrait pas être 1 bonne idée : il vaudrait mieux avoir 1 enreg.par récolte.
Tu peut toutefois le faire en serialisant tes données dans un fichier XML que tu enregistres dans ta DB...mais bon...

pour le coté circulaire, il suffirait de ne pas mémoriser la date dans la clé mais seulement l'heure et du modifierais donc à chaque passage la donnée du jour précédant à la même heure...
Il te faut aussi gerrer cette heure pour qu'elle soit toujours la même en arrondissant au 10 s. le plus proche
Ex. 8:30:00 puis 8:30:10 puis 8:30:20...
si tu as le lendemain 8:30:01 ça n'écrase plus 8:30:00
...tu pourrais mémoriser l'heure du dernier passage & supprimer les données comprise entre celui-ci et le nouveau...

[Graffito]

alors j'ai au max 3600*24*600 = 51840000 données par jours

On peut associer à chaque enregistrement les 2 champs "Time" et "IdMachine".

A chaque intervalle de 10 secondes:

• on determinera la valeur "hhmms0" du champ Time,
• on supprimera systématiquement tous les enregistrements tels Time="hhmms0"
• on ajoutera autant d'enregistrements que de machines ayant envoyé des données.

Pour plus de sécurité, on gérera un champs Date qui combiné avec Time permettra d'ignorer les enregistrements datant de plus de 24H.

[moldavi]

Bonjour.

J'ai rien compris à ton énoncé... C'est normal...

[azstar]

Bonjour,

ma solution consiste a réduire le nbr de lignes des informations sur les machines.
comme ça j'aurai 1 ligne par machine qui regroupe tous les informations sur une journée.

j'ai pense a utilise le temps comme un paramétré pour mettre a jour ces données et faire un sort de buffer circulaire mais le faite que mon temps n'est pas périodique (le datetime d'une échantillon ne correspond pas au datetime de l’échantillon de le lendemain.
j'ai dit que comme l'information a presque la même taille. je peut la code en 3 octects et faire un QUEUE qui va avoir le size = max des nbres échantillons que peut y'avoir dans une journée.
ce QUEUE va être stocke sous forme d'un tableau de byte dans ma base de donnée.

et si mon QUEUE atteins son MAX je peut faire Dequeue de l’ancienne informations et Queue de la nouvelle.

ma solution consiste de tell sorte de faire comme c'est j'ai une rectangle que je le déplace dans un axe de temps ,la distance que la tété de rectangle a déplace est égale au distance de déplacement de le queue de rectangle

et pour la solution de sérialisation je pense que n'est pas convenable dans mon cas ,car la sérialisation augmente la taille des données et ça n'est pas acceptable dans mon problème.