Discussion :

[jbonneval]

Bonjour,

Je cherche à recalculer des labels des produits dans la table 3 (qui contient plus de 5000 lignes) avec mes nouvelles data en table 2 (contient 100 000 lignes).

Pour celà, j'ai une table 1 (plus de 50000 lignes ) qui est une photo des statistiques datant d'il y a 1 an qui a été appliqué sur les produits de la Table 3

Cette Table1 inclus 2 clés:

- la clé bleu (concatenation de 6 columns) lie Table 1 et Table 2

- la clé jaune (concatenation de 3 columns) lie Table 1 et Table 3

Etant New comer dans python,

Je cherche à faire ce refresh dans python car avec Excel les macros vont me prendre trop de temps à compiler les 5000 lignes de produits.

Le problème est que je ne sais pas comment prendre le probleme tout en m'assurant que le code sera plus rapide que VBA.

A ce jour, VBA me prends 45sec par lignes de produits pour le calcul.

Dois je partir sur du Pandas ou les dictionnaires dans python seront suffisants?

Quelqu'un a un exemple de code pour faire des 'jointures'/'lien entre 3 tables

En VBA, j'aurais travaillé de la sorte:

1- Descendre ligne par ligne la Table 3

1.1 pour chaque ligne de Table3 , je prend la clé jaune et je cherche les clé jaune en Table1.

1.2 pour chaque ligne en Table1 avec la clé jaune:

1.2.1 je recupere la clé bleu

1.2.2 dans la Table 2 avec la clé bleu je récupere les nouvelles stat (label1, label 0, label 2) que j'additionne dans 3 variables

1.3 je met à jour en Table 3 les label1, 0, 2

Merci d'avance pour votre attention

Jerome

[nathieb]

Bonjour,

Il est difficile de répondre à ton problème car tu ne poses pas le bon contexte.
tu veux manipuler un fichier excel en python ?
Si tu as à ta disposition un base SQL, il est préférable de le faire en SQL, plus simple
et fait pour être optimisé
Si vraiment tu souhaites le faire en python, alors il faut que tu présentes une amorce de code
pour qu'on ait le contexte de départ

Pour ce qui est des librairies tout dépend.

Olivier

[jbonneval]

Bonjour,

Il est difficile de répondre à ton problème car tu ne poses pas le bon contexte.
tu veux manipuler un fichier excel en python ?
Si tu as à ta disposition un base SQL, il est préférable de le faire en SQL, plus simple
et fait pour être optimisé
Si vraiment tu souhaites le faire en python, alors il faut que tu présentes une amorce de code
pour qu'on ait le contexte de départ

Pour ce qui est des librairies tout dépend.

Olivier

Bonjour Olivier,
Tout d'abord merci pour ton attention,
Celà fait depuis 8 ans que je travaille sur ce projet personnel avec Excel et VBA.
Le but de ce projet est de capitaliser des données brutes ou calculées dans Excel et de les utiliser dans des fins de predictions.
A ce jours, j'ai constitué sur Excel mon propre algorythme de prévisions "artisanal" (contenant 10colonnes et plus de 100 000 lignes).
Désormais je souhaite le mettre en concurrence avec des algoryhtmes par l'utilisation de Python. Pour celà:
- je commence à nettoyer mes données brutes provenant d'Excel avec Python-pandas (environs 70 criteres<=> 70 colonnes pour 5000row<=>éléments).
- plus tard je chercherais si j'ai des criteres qui correlent sur le résultat final
- et enfin je testerai les différents algorythmes de predictions

A ce jour, je continue capitaliser toutes les semaines les données avec Excel. Envions 100 éléments par semaine se rajoute au 5000 éléments (soit environ 4000 elements par an)

Pour répondre à ta question:
Oui, j'essaye d'integrer/manipuler des feuilles excel dans python mais je ne me suis jamais posé la question de savoir si il y a un meilleur moyen de faire celà.
En effet peut être qu'avant de me lancer dans python il vaut mieux passer par l'integration des data dans une base SQL?

Mais bon je suis pas sortie le cul des ronces car j'apprends tous juste python alors si désormais je dois apprendre SQL mais bon si il n'y a pas d'autres moyens...

Du coup je vais essayer d'initialiser le code en python, je pense avoir trouver qqc.

Sinon, tu proposerais quoi comme architecture dans mon cas?

Encore merci pour tes conseils

Bon dimanche

Jerome