Meilleur langage pour le dévelopement d'une application WEB d'import/export et traitement de données Excel

Bonjour,

Je suis actuellement en stage dans le cadre de traitement de grandes quantités de données (Centaines de milliers/ millions) de lignes sur Excel. Pour ce faire je développe des macros (VBA).

ça depend des demandes du service, parfois les macros consistent à faire des manipulations simples et parfois ells sont assez compliquées et prennent des dizaines des heures pour que les données soient traitées ( calcul de verification de données, recuperation des informations à partir d'un siteweb externe,...) (je precise que les ordinateurs sont assez puissants)
dans le cas de la recuperation des infos sur des sites web, j'ai entendu parlé des web services mais je les ai jamais utilisés, puis-je les utiliser avec du VBA (Excel) ?

L'idée actuellement est de developer un outil (hebergé sur un serveur donc type JEE ou JavaScript,..) qui permet l'importation/ Exportation du fichier Excel à traiter. les anciennes macros vont être alors développées avec un autre langage ( celui de cet outil) et donc execute dans ce nouveau outil.

Les motivations qui m'ont poussées à developer cet outil qui remplacera le traitement sur Excel sont les suivantes :

- Le serveur sur lequel sera hebergé l'outil va être plus puissant qu'un Ordinateur et donc sera plus rapide pour faire des calculs compliqués.
- Je vais devoir utiliser les webs service en cas de besoin.
- le nouveau langage sera peut être plus rapide que vba ?
- sur vba il y a souvent des mises à jour, il faut importer une macro pour l'utiliser sur chaque fichier, on ne peut pas toucher un autre fichier Excel lors de l'éxécution d'une macro (qui peut etre très lente ).

Etant donné que je suis encore debutante dans tout cela, est-ce que vous pouvez me confimer ce que j'ai dis plus haut ?
Sera t elle une bonne idée de faire ce développement ? et avec quel langage ?
D'autres conseils ?

Merci :)

Salut
J'imagine que tu vas avoir plein de réponses mais je lis ta question en passant, mon premier conseil serait de te dire de sortir d'excel et d'utiliser un outil qui sert réellement à gérer des données : un Système de Gestion de Base de Données ou SGBD de préférence relationnel (SGBDR).
Ensuite le langage importe peu j'imagine, R semble très en vogue pour le traitement de grandes quantités de données mais tu peux faire déjà beaucoup de choses avec du SQL standard.
Les imports de données, la consommation de web services peuvent se faire à partir d'à peu près tous les langages j'imagine.

Mais avoir un outil permettant de structurer les données et le stockage des données me parait très important sinon essentiel, donc base de données avant toute chose.

J'ai un collègue sur Paris qui fait ça : du traitement de données avec des macros VBA sur des fichiers excel à plat, c'est juste du délire sur la méthode et des heures de prises de tête pour sortir des rapports tout bêtes en fin de compte. Le pire étant que les données à traiter sont issues d'un SGBD et sont exportées à plat dans un fichier texte type CSV.
Il suffirait probablement juste d'un accès ODBC mais business oblige ici le commercial vend des jours et des jours de développement de macros.

JE vous remercie tout d'abord de cette réponse et du tas d'aide que vos réponses nous apportent !

En ce qui concerne le SGBD, je viens d'apprendre qu'ils mettront en place prochainement un très bon SGBD pour remplacer Excel.
Vous allez me demander l'intérêt du développement d'un nouveau outil, en fait ils sont intéressés d'avoir une solution alternative (meme un prototype).

En effet c'est dans ce cadre là que je veux developer un outil convainquant (surtout au niveau rapidité d'où l'objectif des questions plus haut)

Citation:

---

Envoyé par fredoche

Ensuite le langage importe peu j'imagine, R semble très en vogue pour le traitement de grandes quantités de données .

---

Par contre R a besoin d'un outil pour tourner ? il n y a pas moyen pour qu'il soit accessible dans le navigateur et mis dans un serveur (pour la facilité d'accès et la rapidité d'execution) ?

Citation:

---

Envoyé par popo2016

Par contre R a besoin d'un outil pour tourner ? il n y a pas moyen pour qu'il soit accessible dans le navigateur et mis dans un serveur (pour la facilité d'accès et la rapidité d'execution) ?

---

Tu peux regarder Shiny, ça fait justement ça. https://shiny.rstudio.com/

Merci, j'aimerai ajouter quelques informations pour que vous voyez si ça va bien avec mes besoins.
Les traitements que je dois automatiser (remplacent ce qui a été fait par les macros Excel), les traitements ne sont pas uniquement numériques et ne consistent pas toujours à faire des graphes.
Je peux avoir comme traitement : recherche, decoupage du document selon un critère, fusionner des documents Exel, comparer, et autres...
Est-ce que "Shiny" me permettra à faire ceci ? si c'est le cas, pourriez vous me recommander une documentation ?
Merci encore !

Tu fais toutes ces opérations avec R : Shiny n'est qu'une bibliothèque R particulière qui sert à réaliser l'interface Web.

ah d'accord ! vous me conseillez alors le développement par R ou d'autres langages peuvent être mieux pr ce besoin ?

R n'a pas beaucoup d'avantages, en tant que langage… (Mon avis personnel : une horreur incohérente et incroyablement lente.) L'environnement est assez riche, cependant, ce qui compense pas mal. De mon côté, je favoriserais plutôt Julia (l'équivalent de Shiny existe aussi : http://escher-jl.org/), avec un écosystème non négligeable pour le genre d'opérations que tu souhaites faire (à l'origine, du calcul scientifique, mais le traitement des données n'est jamais loin). Enfin, les langages, c'est comme les goûts et les couleurs :D !