IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Langages de programmation Discussion :

Meilleur langage pour le dévelopement d'une application WEB d'import/export et traitement de données Excel


Sujet :

Langages de programmation

  1. #1
    Membre à l'essai
    Femme Profil pro
    Étudiant
    Inscrit en
    Novembre 2016
    Messages
    30
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Novembre 2016
    Messages : 30
    Points : 19
    Points
    19
    Par défaut Meilleur langage pour le dévelopement d'une application WEB d'import/export et traitement de données Excel
    Bonjour,

    Je suis actuellement en stage dans le cadre de traitement de grandes quantités de données (Centaines de milliers/ millions) de lignes sur Excel. Pour ce faire je développe des macros (VBA).

    ça depend des demandes du service, parfois les macros consistent à faire des manipulations simples et parfois ells sont assez compliquées et prennent des dizaines des heures pour que les données soient traitées ( calcul de verification de données, recuperation des informations à partir d'un siteweb externe,...) (je precise que les ordinateurs sont assez puissants)
    dans le cas de la recuperation des infos sur des sites web, j'ai entendu parlé des web services mais je les ai jamais utilisés, puis-je les utiliser avec du VBA (Excel) ?

    L'idée actuellement est de developer un outil (hebergé sur un serveur donc type JEE ou JavaScript,..) qui permet l'importation/ Exportation du fichier Excel à traiter. les anciennes macros vont être alors développées avec un autre langage ( celui de cet outil) et donc execute dans ce nouveau outil.

    Les motivations qui m'ont poussées à developer cet outil qui remplacera le traitement sur Excel sont les suivantes :

    - Le serveur sur lequel sera hebergé l'outil va être plus puissant qu'un Ordinateur et donc sera plus rapide pour faire des calculs compliqués.
    - Je vais devoir utiliser les webs service en cas de besoin.
    - le nouveau langage sera peut être plus rapide que vba ?
    - sur vba il y a souvent des mises à jour, il faut importer une macro pour l'utiliser sur chaque fichier, on ne peut pas toucher un autre fichier Excel lors de l'éxécution d'une macro (qui peut etre très lente ).

    Etant donné que je suis encore debutante dans tout cela, est-ce que vous pouvez me confimer ce que j'ai dis plus haut ?
    Sera t elle une bonne idée de faire ce développement ? et avec quel langage ?
    D'autres conseils ?

    Merci

  2. #2
    Membre extrêmement actif
    Profil pro
    Inscrit en
    Décembre 2003
    Messages
    1 616
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Décembre 2003
    Messages : 1 616
    Points : 3 965
    Points
    3 965
    Par défaut
    Salut
    J'imagine que tu vas avoir plein de réponses mais je lis ta question en passant, mon premier conseil serait de te dire de sortir d'excel et d'utiliser un outil qui sert réellement à gérer des données : un Système de Gestion de Base de Données ou SGBD de préférence relationnel (SGBDR).
    Ensuite le langage importe peu j'imagine, R semble très en vogue pour le traitement de grandes quantités de données mais tu peux faire déjà beaucoup de choses avec du SQL standard.
    Les imports de données, la consommation de web services peuvent se faire à partir d'à peu près tous les langages j'imagine.

    Mais avoir un outil permettant de structurer les données et le stockage des données me parait très important sinon essentiel, donc base de données avant toute chose.

    J'ai un collègue sur Paris qui fait ça : du traitement de données avec des macros VBA sur des fichiers excel à plat, c'est juste du délire sur la méthode et des heures de prises de tête pour sortir des rapports tout bêtes en fin de compte. Le pire étant que les données à traiter sont issues d'un SGBD et sont exportées à plat dans un fichier texte type CSV.
    Il suffirait probablement juste d'un accès ODBC mais business oblige ici le commercial vend des jours et des jours de développement de macros.
    Émotion
    Infantilisation
    Culpabilisation

    Christophe Alévèque - 18 Mars 2021

  3. #3
    Membre à l'essai
    Femme Profil pro
    Étudiant
    Inscrit en
    Novembre 2016
    Messages
    30
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Novembre 2016
    Messages : 30
    Points : 19
    Points
    19
    Par défaut
    JE vous remercie tout d'abord de cette réponse et du tas d'aide que vos réponses nous apportent !

    En ce qui concerne le SGBD, je viens d'apprendre qu'ils mettront en place prochainement un très bon SGBD pour remplacer Excel.
    Vous allez me demander l'intérêt du développement d'un nouveau outil, en fait ils sont intéressés d'avoir une solution alternative (meme un prototype).

    En effet c'est dans ce cadre là que je veux developer un outil convainquant (surtout au niveau rapidité d'où l'objectif des questions plus haut)

    Citation Envoyé par fredoche Voir le message
    Ensuite le langage importe peu j'imagine, R semble très en vogue pour le traitement de grandes quantités de données .
    Par contre R a besoin d'un outil pour tourner ? il n y a pas moyen pour qu'il soit accessible dans le navigateur et mis dans un serveur (pour la facilité d'accès et la rapidité d'execution) ?

  4. #4
    Responsable Qt & Livres


    Avatar de dourouc05
    Homme Profil pro
    Ingénieur de recherche
    Inscrit en
    Août 2008
    Messages
    26 607
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur de recherche
    Secteur : Enseignement

    Informations forums :
    Inscription : Août 2008
    Messages : 26 607
    Points : 188 574
    Points
    188 574
    Par défaut
    Citation Envoyé par popo2016 Voir le message
    Par contre R a besoin d'un outil pour tourner ? il n y a pas moyen pour qu'il soit accessible dans le navigateur et mis dans un serveur (pour la facilité d'accès et la rapidité d'execution) ?
    Tu peux regarder Shiny, ça fait justement ça. https://shiny.rstudio.com/
    Vous souhaitez participer aux rubriques Qt (tutoriels, FAQ, traductions) ou HPC ? Contactez-moi par MP.

    Créer des applications graphiques en Python avec PyQt5
    Créer des applications avec Qt 5.

    Pas de question d'ordre technique par MP !

  5. #5
    Membre à l'essai
    Femme Profil pro
    Étudiant
    Inscrit en
    Novembre 2016
    Messages
    30
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Novembre 2016
    Messages : 30
    Points : 19
    Points
    19
    Par défaut
    Merci, j'aimerai ajouter quelques informations pour que vous voyez si ça va bien avec mes besoins.
    Les traitements que je dois automatiser (remplacent ce qui a été fait par les macros Excel), les traitements ne sont pas uniquement numériques et ne consistent pas toujours à faire des graphes.
    Je peux avoir comme traitement : recherche, decoupage du document selon un critère, fusionner des documents Exel, comparer, et autres...
    Est-ce que "Shiny" me permettra à faire ceci ? si c'est le cas, pourriez vous me recommander une documentation ?
    Merci encore !

  6. #6
    Responsable Qt & Livres


    Avatar de dourouc05
    Homme Profil pro
    Ingénieur de recherche
    Inscrit en
    Août 2008
    Messages
    26 607
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur de recherche
    Secteur : Enseignement

    Informations forums :
    Inscription : Août 2008
    Messages : 26 607
    Points : 188 574
    Points
    188 574
    Par défaut
    Tu fais toutes ces opérations avec R : Shiny n'est qu'une bibliothèque R particulière qui sert à réaliser l'interface Web.
    Vous souhaitez participer aux rubriques Qt (tutoriels, FAQ, traductions) ou HPC ? Contactez-moi par MP.

    Créer des applications graphiques en Python avec PyQt5
    Créer des applications avec Qt 5.

    Pas de question d'ordre technique par MP !

  7. #7
    Membre à l'essai
    Femme Profil pro
    Étudiant
    Inscrit en
    Novembre 2016
    Messages
    30
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Novembre 2016
    Messages : 30
    Points : 19
    Points
    19
    Par défaut
    ah d'accord ! vous me conseillez alors le développement par R ou d'autres langages peuvent être mieux pr ce besoin ?

  8. #8
    Responsable Qt & Livres


    Avatar de dourouc05
    Homme Profil pro
    Ingénieur de recherche
    Inscrit en
    Août 2008
    Messages
    26 607
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur de recherche
    Secteur : Enseignement

    Informations forums :
    Inscription : Août 2008
    Messages : 26 607
    Points : 188 574
    Points
    188 574
    Par défaut
    R n'a pas beaucoup d'avantages, en tant que langage… (Mon avis personnel : une horreur incohérente et incroyablement lente.) L'environnement est assez riche, cependant, ce qui compense pas mal. De mon côté, je favoriserais plutôt Julia (l'équivalent de Shiny existe aussi : http://escher-jl.org/), avec un écosystème non négligeable pour le genre d'opérations que tu souhaites faire (à l'origine, du calcul scientifique, mais le traitement des données n'est jamais loin). Enfin, les langages, c'est comme les goûts et les couleurs !
    Vous souhaitez participer aux rubriques Qt (tutoriels, FAQ, traductions) ou HPC ? Contactez-moi par MP.

    Créer des applications graphiques en Python avec PyQt5
    Créer des applications avec Qt 5.

    Pas de question d'ordre technique par MP !

Discussions similaires

  1. Réponses: 2
    Dernier message: 18/05/2016, 15h15
  2. Réponses: 1
    Dernier message: 05/05/2016, 22h54
  3. Réponses: 1
    Dernier message: 10/01/2010, 18h06
  4. Réponses: 3
    Dernier message: 07/12/2006, 12h16

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo