Comment aborder le probleme ?

Version imprimable

30/05/2007, 15h51
Slumpy

Comment aborder le probleme ?

Salut,

J ai un tas de donnees de pluie ( 100 ans de donnees sur une grille 70*70prises toutes les 5min) Donc bcp quoi :yaisse2:

Je vais devoir extraire de cet amat de donnees, des evenements de pluie (en fonction d un certain nombre de critaire que l utilisateur peut changer.)

C la premiere foi que j aborde un tel tas de donnees. Je pense qu il est impossible de loader les donnees a chaque fois qu on lance l application. Je voudrais donc savoir si une base de donnee (j y connais presque rien en ca lol) serait la solution.

Style, je cree une appli qu on ne lanse qu une foi et qui genere ma base de donnees a partir de mes donnees. Puis, je cree une deuxieme appli qui quand on la lance, se connecte a cette base de donnees, sur laquelle on ne fait qu appliquer des queries.

De ce fait, je n ai pas a passer 10 ans ( car il faut environ 15min pour lire 1 jour de donnees) a lire mes donnees.

Donc mon ma question : Faut il aborder la chose de cette maniere d apres vous ? Et est ce possible en VB.net ?

Merchi :king:
30/05/2007, 16h19
Pol63

c'est une idée en effet
une base de données te retournera les données voulues en quelques secondes meme avec énormement de données

100 ans avec une info toutes les 5min, s'il y a beaucoup de champs il te faudra un bon index quand meme si tu veux pas attendre plus de quelques secondes

sinon en vb.net, tout est faisable
et si tu cherches une base de données gratuite et performante, je te conseille
SQL Server Express 2005
30/05/2007, 16h27
Slumpy

Ok cool merci. Ca me rassure sur le cote rapide de la chose. Car je ne m attendais pas a ce que ca prenne autant de temps pour lire un jour de donnees.

Existe t il eu un moyen d eviter la base de donnee ? Pour moi une Base de donnees, ct surtout pour faciliter des "queries", pas tellement pour eviter de charger des donnees.

Ouaip je vais partir sur SQL Server. Par contre, si j ai bien suivi : La version express ne permet pas plus de 4G de donnees.
30/05/2007, 16h32
Pol63

Citation:

Envoyé par Slumpy

Ok cool merci. Ca me rassure sur le cote rapide de la chose. Car je ne m attendais pas a ce que ca prenne autant de temps pour lire un jour de donnees.

Existe t il eu un moyen d eviter la base de donnee ? Pour moi une Base de donnees, ct surtout pour faciliter des "queries", pas tellement pour eviter de charger des donnees.

Ouaip je vais partir sur SQL Server. Par contre, si j ai bien suivi : La version express ne permet pas plus de 4G de donnees.

pas compris ce que tu recherches dans la base de données
enfin ca sera long à remplir du au fait que ca sera long à lire dans ta grille
mais ca sera très rapide à ressortir (faire un index ordered sur la date)

et en effet la version gratuite limite les bases à 4Go
mais libre à toi de faire x bases
une base par décénies par exemple ... enfin si tes données prendront plus de 4 Go
30/05/2007, 18h03
Slumpy

Ce que je vais rechercher dans ma base de donnees ? C'est par exemple de me sortir les dates de debut et fin d evenements de pluie pour les 100 plus grosses pluies. Ou de ;e donner les 10 qui ont dure le plus longtemps. Des trucs comme ca quoi.

Mais je n aurais bien qu a lire mes donnees qu une seule foi afin de creer ma BDD non ? Ensuite quand je lancerais l appli qui aura des requetes, je n aurais pas besoin de lire quoi que ce soit, juste me connecter a la base de donnees et faire des requetes non ? Et la le resultat sera rapide non ?

Merci

Tant que j y suis : Quelqu un connaitrait un bon tutorial sur comment creer, remplir et sauver une BDD SQL en vb.net ? (En francais ou anglais)

J ai pour l instant trouve ca : http://www.vbdotnetheaven.com/Upload...LDatabase.aspx Mais je pense qu il fait plus que creer, remplir et sauver et je trouve pas ca tres bien explique.
Merci :mrgreen:
30/05/2007, 19h04
hyipicai

qu'est ce que tu appelles "lire" ?
meme dans une BDD ta requete va forcement "lire" des donnees alors c'est sur pas forcement toutes mais si je reprends ton exemple des 10 plus grandes pluies depuis 70 ans va y avoir du boulot de calcul
car tu vas devoir parcourir toutes tes lignes de pluie quand meme et faire des "calculs" pour savoir laquelle est la plus grande

dans tous les cas ca pourra pas donner de l'instantane vu la masse d'infos que tu as.
30/05/2007, 19h14
mafyoso

Bonsoir

Si à l'heure actuelle tes données sont manuscrites, tu peux utiliser l'interface de SQLServer Express. Elle est assez intuitive dans le sens ou toute opération est traduite en SQL :? .
Je te souhaite bon courage pour saisir 100 ans de statistiques pluviométriques ;) .

A bientôt
30/05/2007, 21h19
Slumpy

Merci a vous deux. c cool :yaisse2:

Citation:

qu'est ce que tu appelles "lire" ?
meme dans une BDD ta requete va forcement "lire" des donnees alors c'est sur pas forcement toutes mais si je reprends ton exemple des 10 plus grandes pluies depuis 70 ans va y avoir du boulot de calcul
car tu vas devoir parcourir toutes tes lignes de pluie quand meme et faire des "calculs" pour savoir laquelle est la plus grande

dans tous les cas ca pourra pas donner de l'instantane vu la masse d'infos que tu as.

Salut,

J appele lire le fait de lire une information et la stocker dans une varialbe pour pouvoir effectuer des operations/selections dessus. Style baziquement j ai un fichier .txt avec une colonne de chiffre. Avant de pouvoir faire quoi que ce soit, le programme doit ouvrir le fichier en lecture, "lire" la premiere ligne, sauver l info dans X(0) puis on passe a la ligne 2 on lis et sauve dans X(1) ...
Avec une base de donnée, je n aurais plus cette phase de lecture non ?

Citation:

Bonsoir

Si à l'heure actuelle tes données sont manuscrites, tu peux utiliser l'interface de SQLServer Express. Elle est assez intuitive dans le sens ou toute opération est traduite en SQL .
Je te souhaite bon courage pour saisir 100 ans de statistiques pluviométriques .

A bientôt

Lol, non je ne dois pas rentrer c donnees a la main, j ai tout un gros tas de fichiers. (un par jour)
31/05/2007, 08h11
Pol63

si tu fais un bon index, les résultats seront très rapide
il faut voir si toutes tes requetes sont sur la quantité de pluie plutot que la date, tu fais un index sur la quantité plutot que la date
si les 2 peuvent etre demandé, fait un index clustered sur les 2 ensemble
31/05/2007, 08h36
remy_74

Salut,

Y'as aussi Oracle qui propose une version Express (gratuite, 4Gb de données MAX) et qui fournis un Kit ODP.Net pour s'integrer à Visual Studio.

au cas ou :
http://www.oracle.com/technology/pro.../xe/index.html
et
http://www.oracle.com/technology/tech/dotnet/index.html

Pour ce qui est de la lecture depuis ta base de données les Index et l'organisation des tables te ferons gagner beaucoup de temps.
A moin que tes fichiers ne soit déja Indexés et ordonnées, tu gagnera du temps ( et des lignes de code) a integrer tes données dans une DB.
Il ne te reste plus qu'a te retrousser les manches ...
;)