Discussion :

[Mathusalem]

Bonjour à tous !

Je suis débutant en Java et je me suis lancé dans un projet un peu compliqué pour moi.
Si vous le voulez bien, je vais vous expliquer de quoi il s'agit, puis vous présenter comment je compte m'y prendre : je vais avoir quelques questions et j'aimerais un avis de qqn qui connait bien java


J'enregistre chaque nuit la bourse Coréenne, pour être plus précis j'enregistre en base, chaque mouvement (bid, ask, trade et volumes) qu'il peut y avoir sur toutes les options sur leur indice principal (le KOSPI).

Le but de mon projet est de diffuser en temps réel différé les données vers mes outils d'analyses, afin de pouvoir observer la bourse et dormir la nuit .

Pour vous donner une idée, une journée représente en base, une table de 300 MO (3 millions de lignes)





En effet, je veux reproduire les mouvements et leur timing, (de l'ordre de la milliseconde), mais j'ai peur que : (là j'attends vos avis) :

de tout charger dans un Statement, puis de lire le statement
1°) ne soit trop gourmand en mémoire
2°) ne me permette pas de lire à la "bonne" vitesse, sachant que j'ai parfois des grappes de mouvements qui sont tous dans la même milliseconde

c'est pourquoi j'ai imaginé de mettre les mouvements dans une liste chainée, qui sera remplie d'un côté par un Lecteur et dépilée de l'autre par un Diffuseur (qui balancera les infos). Au pire, quand le Diffuseur aura rattrapé le Lecteur, de le freezer un peu le temps que le Lecteur reprenne de l'avance.
Mais ça ne rêgle pas le problème du Statement SQL : est-ce qu'il va pouvoir gérer 3 millions de lignes ?

Sinon, on m'a dit que la fonction sleep n'était pas fiable sous les 15 millisecondes et qu'il vallait mieux considérer qu'il faut diffuser tout de suite tous les mouvements espacés de moins de 20 millisecondes.
Qu'en pensez-vous ?


Merci de vos avis !

[Pill_S]

Hello,

je suis pas sûr, mais je crois que la notion de "streaming" est déjà implémentée au niveau des statements/resultset. Pourquoi je pense ça? bin simplement parce que la plupart des statements que l'on récupère avec une connexion distante à la base de données sont en mode FORWARD_ONLY (je me souviens plus vraiment des terminologies exactes)

En fait, quand tu parcours le contenu d'un resultset, tu n'as pas la possibilité de le réinitialiser (de revenir au début du resultset), enfin de mémoire pas par défaut: si tu essaie cela balance une exception, cela sous-entend que le resultset est déjà connecté à un stream et que seule une petite partie des données est disponible à chaque instant.

Bon, encore une fois, je ne suis pas vraiment sûr, cela dépend également du driver jdbc utilisé et de la manière dont tu créé tes statements/resultset. Les tests que j'avais fait sous mysql (il y a déjà longtemps maintenant) produisaient les résultats évoqués ci-dessus.

Ensuite, la fonction sleep (si tu parles bien de Thread#sleep), comme toutes les fonctions gérant le temps en java, sont directement liées à l'OS: or, sous windoz, la "résolution" ne vas pas au-dela de 15-16 ms. De plus, Thread#sleep garantit une attente minimum de x ms, mais en fonction de la charge des autres thread, ce temps peut être bien plus élevé. Il n'existe rien de vraiment précis en java pour imposer une attente (justement à cause du multithread).

Le mieux est encore d'essayer...

[Mathusalem]

Merci de ta réponse Phil_S !

Pour le sleep, tant pis je ferai avec

J'ai eu le retour de collègues qui travaillent en java sur le même genre de problématique, et ils ont dû développer un système un peu analogue à mon idée, plutôt que de diffuser directement depuis le Statement SQL, parce qu'il ne lisait pas assez vite : c'est pourquoi je suis parti sur mon histoire de liste chainée.
Mais j'aimerais tellement que le Statement fasse lui même le "streaming"... quelqu'un sait ?

[djsnipe]

Mais j'aimerais tellement que le Statement fasse lui même le "streaming"... quelqu'un sait ?

Oui, les données sont rapatriées par le driver dans la JVM au fur et à mesure que tu vas parcourir ton ResultSet. C'est d'ailleurs configurable : http://java.sun.com/j2se/1.4.2/docs/api/java/sql/ResultSet.html#setFetchSize(int)
Et pas de problème pour récupérer 3 millions de lignes, tant que tu ne garde pas tout en mémoire à un instant donné, (sauf si tu en as besoin mais que tu taille suffisamment la JVM).

[Mathusalem]

merci de ta réponse !

je vais regarder ça en détail