Programmation pour traitement de données

Bonjour a tous,

Je tenais avant tout à féliciter l'équipe de développez.com pour leur initiative de dépot de tutoriels gratuits en ligne.

Je thésard à l'INRA, et travail sur un projet qui requiert le traitement de nombreuses données climatiques.
N'ayant jamais reçu de formation en informatique, j'ai réalisé une base de données sous excel. Je développe des macros en VB pour les traiter.

Ce n'est pas vraiment satisfaisant, car mon travail avançant, je vais être amener a réaliser des feuilles de calcul et des macros de plsu en plus lourde, et la moindre erreur dans la programmation de l'algorythme me conduit a executer des macros lourdes et lentes.

Par ailleurs, j'ai vraiment besoin de développer des programmes indépendant d'excel pour traiter les données.

Voici la démarche à laquelle j'avais pensé réaliser:

Fichier de données climato quotidiennes (10 ans*365 jour*6 variables = 21900 données) --> petit programme de traitement des données (consiste a combiner les variables d'une même journée entre elles et d'y affecter pleinde paramètres de calculs) -->calcul d'un indice (nouvelle variable quotidienne --> copie de cette variable dans le fichier d'entrée ou dans un autre fichier.

Les applications a développer sont assez simple, puisqu'elle peuvent tenir dans une feuille excel. C'est des trucs du genre a+b*racine(x)...patipata language matheu. Cependant, il se peux que les formules soit une peu plus complexes, mais j'arrive toujours à les mettre sous excel et à les développer avec du VB.

----------------------------
Après cette longue intro (sorry), je pose ma question :
:?: Ne connaissant pas très bien toutes les ficelles du VB, et ayant besoin de réaliser des petites applications de calcul (limite je m'en fous de l'interface graphique), dois-je apprendre un nouveau language plus performant (style JAVA ou C)?
Un conseil sur le choix du language?
Vais-je y passer mes nuits?
------------------------------

Il se trouve que JAVA m'interesse particulièrement, car l'unité dans laquelle je bosse à déjà fait appel à une boite privée pour développer un modèle en JAVA (mais qui nécessite l'installation de plein de logiciels de BDD et qui passe par un navigateur web...bref, on s'en fout).

Merci d'avance pour les tuyaux

Big Up! :D

j'espère en pas avoir été trop obscur...

Bonjour,

Je comprend la necessité d'avoir un algorithme plus performant si il est gênant d'attendre à chaque fois que le programme produise un résultat, mais dans ton cas, ça se chiffre comment ? Pour faire un calcul sur les 21900 données dont tu parles, ton programme prend combien de temps ?

Ton programme actuellement ne prend pas des heures et des heures à faire le traitement complet, si ?

Tu as raison dans le principe que de developper le programme en Java ou en C sera beaucoup plus performant, MAIS :
1) tu devras investir beaucoup de temps à comprendre les bases de la programmation
2) tu devras investir beaucoup de temps pour faire ton programme sans bug
3) tu devras encore une fois investir beaucoup de temps pour que la performance soit vraiment au rendez-vous.

Peut-être que de garder ton fonctionnement actuel sous excel, et d'améliorer ta RAM ou ton processeur serait une meilleure idée, moins couteuse pour toi en temps ! Comme on dit, le temps c'est de l'argent, pas vrai ? :wink:

Merci pour cette réponse, KiLVaiDeN.

Je pense en effet que ce fonctionnement est assez bien, mais j'ai besoin de développer une application indépendante d'excel...(peut-être, me diras-tu, qu'il est assez jusicieux de rester en VB et de tenter de développer un programme indépendant sous ce language...ce que je ne sais pas faire, mais avec toute la doc existante sur les sites comme celui-ci, ça devrait aller ;)

Par ailleurs, je dois te préciser un truc : il s'agit de 30000 données pour une site, mon projet va s'attacher à spatialiser de la données climatiques avec 10.000 points de grilles : soit 10.000 fois 30.000 données!!!

Je pense que l'on s'approche sérieusement de la réelle base de données, avec les applications allant avec.

Mais mon travail sera moins "portable" si je bosse sous acces (que je ne connais pas au passage)

Je pensais mettre mes 10.000 fichiers txt (avec chacun 30.000 données), dans un dossier, et de créer des petites applications en routine pour les traiter...

Voili-voilou...conclusion : excel ne sera plus approprié

Je passe sous acces (il faut que j'aprenne, mais ça ne me fais pas trop peur...le VB a l'arrache, je connais)?
Je pars sur mon idée : fichiers txt dans un dossier + petite application sous Java ou C?
Je retourne vite à l'école pour apprendre à programmer :wink: ?

(j'arrête de poser des questions sur ce sujet parce que c'est trop précis pour developpez.com)?

Ah oui, en effet, ça change beaucoup de choses ces chiffres, des données de l'ordre de la centaine de millions, c'est plus qu'excel ne peut en gérer je pense :wink: !

Je comprend mieux ton problème.

Donc je dirais que ton idée de faire un programme qui prendra en paramètre le repertoire contenant les fichiers sources, et qui les traiterait serait une bonne solution. Tu pourrais "classer" les fichiers déjà traités, dans un repertoire "old", pour ne pas les traiter à chaque passage.

Connaissant plutot bien le Java, je te conseillerais de faire cette tache en Java. De plus, je pense qu'il est accessible, et tu peux assez rapidement produire un programme efficace, sans te soucier des subtilités du langage comme la programmation orientée objet et autres : faire un programme simple de traitement de masse ne demande pas un design irréprochable, en plus le but n'est pas que ce soit bien programmé, mais que ça produise les résultats attendus rapidement.

Si le java ne te fais pas peur, tu peux te lancer, mais à mon avis il te faudra plusieurs semaines de travail soutenu pour produire un résultat.

Dans ce cadre là, je te conseille de télécharger netbeans, sur http://www.netbeans.org. A partir de là, tu auras un environnement de developpement Java facile à utiliser, tu peux créer un projet "exemple" fourni par netbeans, il possède un projet appellé Anagram, qui est un petit jeu fenêtré. A partir de ce projet, tu peux comprendre le fonctionnement de Java, et le modifier pour qu'il fasse une partie de ton traitement. Il faudra que tu passes du temps à comprendre les entrées sorties en Java par contre ( étant donné que c'est le coeur de ton logiciel ) et sun a fait un très bon tutoriel sur Java et les entrées sorties.

Que dire de plus ? Il y a toujours des subtilités à connaitre quand on commence la programmation, et je ne peux pas toutes les énumérer. Je pense qu'il faudrait qu'en quelques heures, tu installes netbeans, tu crées le projet Anagram ( dans le menu file, new project, java, sample project, anagram, ou quelque chose comme ça ) et que tu l'executes et jètes un oeil sur sa structure. Que tu repères les portions de code que tu pourrais modifier. Que tu poses les questions qui te viennent à l'esprit.

Bonne chance en tout cas, quelque soit le chemin que tu prend, et je pense que developpez.com est là pour aider les developpeurs, surtout les débutants, donc tu es à tous les coups le bienvenu sur ces forums, n'hésite pas à poser des questions après avoir jeté un oeil aux FAQ, fait une recherche sur google, ou cherché dans le forum :wink:

Un grand merci à toi!!!

:ccool:

(je suis vraiment épaté par la possibilité d'avoir des réponses rapides et pertinentes dans le monde de l'ordi!)

Chapeau!
:chin:

C'est parce que ici avec 50 000 visites par jours : tu as une grande chance de tomber sur quelqu'un qui peux t'aider :wink:

Marc Lussac a dit :
C'est parce que ici avec 50 000 visites par jours : tu as une grande chance de tomber sur quelqu'un qui peux t'aider

---------------
Très juste, mais quand on découvre les forums, on se rends contre que même sans poser aucune question, une foule de réponse y sont déjà, et que, c'est absolument halluciant de voir combien de monde se consacre à "donner" de l'aide aux autres...dans un monde où l'on nous dit que TOUT à un prix (des semances de maïs aux partie de scripts informatiques)

alors ça fait du bien!!!

---------------

Oups...ptite question subsidiaire...

Je sais que le VB n'est pas un language recommandable, mais pense-tu qu'une application dans le genre "traitement des fichiers .txt dans le un dossier" est réalisable et serait efficace (pour réaliser des traitements de données) et peut-être plus économique en temps que de se lancer dans Java?



(quel con, j'ai mis "résolu", avant de réfléchir à cette option!)

Citation:

---

Envoyé par benbois

Marc Lussac a dit :
C'est parce que ici avec 50 000 visites par jours : tu as une grande chance de tomber sur quelqu'un qui peux t'aider

---

Tu as un bouton citer pour faire ca en plus joli...

:merci:

Citation:

---

Envoyé par benbois

Je sais que le VB n'est pas un language recommandable, mais pense-tu qu'une application dans le genre "traitement des fichiers .txt dans le un dossier" est réalisable et serait efficace (pour réaliser des traitements de données) et peut-être plus économique en temps que de se lancer dans Java?

---

Qui a dit que VB n'est pas très recommandable ! Il est parfait pour créer des ptits programmes simplement et rapidement, quelque soit le type du programme !

[quote="Marc Lussac"]

Citation:

---

Envoyé par benbois

Tu as un bouton citer pour faire ca en plus joli...

---

...désolé Marc, je n'avais pas vu (aaaaahhhhh ces newbies!)

CSoldier :
Tu penses que ça collerait bien avec mon idée? (requete vers dossiers et traitement des fichiers .txt)
Pasque le Java ne 'effrai pas dans le sens ou si il faut me lancer, je me lancerai, mais si je peux gagner du temps, avec un language plus simple, alors c'est mieux pour moi!!!

Bah en fait tu peut presque tout faire avec VB ... je dit pas "tout faire" car j'en suis pas sur :lol: :lol: Mais sinon pour bien répondre à ta question, tout dépend, le Java t'offre la possibilité de la portabilité, ce que VB ne te donne pas mais en revanche, VB est certainement plus simple à apprendre, si tu te lances dans VB, prend plutot VB.Net, le Framework est gratuit et tu peut trouver des EDI et autres RAD gratuits et libres ... voir sur le site de developpez dans la partie .Net, y'a un liens qui te menera dans une ptite liste d'outils, je te conseil d'ailleurs dans ce cas précis de télécharger SharpDevelop !

Donc tout dépend de ta vision ! Si tu reste sur Windows et faire des programmes pour ce système, .Net est un bon choix !

VB est une option, mais il te faut un environnement de developpement, en l'occurence Visual Studio..
Il y a une "nouvelle version de VB" qui est sorti recemment, VB.NET, qui "t'oblige" presque à utiliser les nouveaux principes de .NET, et le langage VB tel qu'il était est quelque peu perdu..

L'avantage de Java est que l'ide que je t'ai conseillé (netbeans en l'occurence) est bon, gratuit, et facilement exploitable. Il en existe d'autres, mais celui là fonctionne très bien, et pour ton projet est idéal à mon avis.

Si tu penses que ton experience VB est suffisante, tu peux te lancer dans la création de ton application en VB, je ne te conseille pas specialement de la faire en VB.NET ( autant la faire en Java ) mais du coup il va falloir que tu trouves un "vieux" Visual Studio 6 pour créer ton programme..

Une autre solution qui n'a pas été évoqué : window script host (WSH). Il me semble que pour quelqu'un qui connait VB, il est facile de manipuler WSH. De plus, j'ai entendu dire qu'il était performant. Peut-être est-ce encore une meilleure solution que Java en ce qui te concerne ?

Par contre je ne suis pas spécialiste de WSH, donc il faudra demander des conseils et de l'aide sur le forum correspondant ( forum Visual Basic, ou Developpement Windows )

En ce qui concerne l'aide, aucun problème : ça me fait plaisir d'apporter un grain de sable par ci, et un autre par là, qui sait, à force d'aider à construire des montagnes de sables dans les alentours, le sable pourrait glisser vers moi :wink:

Citation:

---

Envoyé par CSoldier

[...] si tu te lances dans VB, prend plutot VB.Net, le Framework est gratuit et tu peut trouver des EDI et autres RAD gratuits et libres ... voir sur le site de developpez dans la partie .Net, y'a un liens qui te menera dans une ptite liste d'outils, je te conseil d'ailleurs dans ce cas précis de télécharger SharpDevelop !

---

Ah, je pensais que SharpDevelop était uniquement C#, me serais-je trompette-je ?

Ne penses-tu pas que VB.NET soit totalement différent du VB "traditionnel" ?

Citation:

---

Envoyé par KiLVaiDeN

Citation:

---

Envoyé par CSoldier

[...] si tu te lances dans VB, prend plutot VB.Net, le Framework est gratuit et tu peut trouver des EDI et autres RAD gratuits et libres ... voir sur le site de developpez dans la partie .Net, y'a un liens qui te menera dans une ptite liste d'outils, je te conseil d'ailleurs dans ce cas précis de télécharger SharpDevelop !

---

Ah, je pensais que SharpDevelop était uniquement C#, me serais-je trompette-je ?

Ne penses-tu pas que VB.NET soit totalement différent du VB "traditionnel" ?

---

Si si, je l'ai un peu testé hier et il fait aussi du VB mais certes, VB.Net est différent du 6, surtout qu'il est orienté objet donc classes etc.. mais il y demeurent certaines similitudes entre les 2 langages !

Ok

Bon, bin je crois que je vais plutôt me lancer vers cette option

La programmtion c'est assez passionante (surtout jouissif quand on trouve la solution d'un gros pb), mais ce n'est pas mon but principal, ça reste un outil pour moi...

En tout cas merci encore à tous...

Si y'a d'autres suggestions....


Big Up!!!

Citation:

---

Envoyé par KiLVaiDeN

Si tu penses que ton experience VB est suffisante, tu peux te lancer dans la création de ton application en VB, je ne te conseille pas specialement de la faire en VB.NET ( autant la faire en Java ) mais du coup il va falloir que tu trouves un "vieux" Visual Studio 6 pour créer ton programme..

---

C'est de cette option dont je parlais

Merci encore :yaisse2: