MAX DATE optimisation

Bonjour,

Dans mon environnement professionnel nous venons de passer sous DATABRICKS et je dois donc apprendre à utiliser python.
Je cherche à obtenir l'antériorité d'un stock de produit en calculant le délai entre la date du stock et la date du jour. Ca, je sais faire.

Ma table se met à jour quotidiennement en APPEND avec chaque jour une nouvelle date de référence. J'ai donc environ 300 000 lignes par jour.
Je souhaite extraire à chaque fois la dernière "version" de mon stock.
Voici comment j'ai procédé :

Code:

---

1 2	date_max = spark.sql("""select max(date1) `date1` from Matable""") date_max = list(date_max.select('date').toPandas()['date'])

---

Ca fonctionne et je peux utiliser date_max dans la suite du code :

Code:

---

1 2	stock = spark.table("table") .select ("date1" , "date2", "etc", "etc", (weekofyear("date2")).alias("NUM_week") )\ .filter (col("date1") .isin (date_max))

---

MAIS j'aimerais pouvoir éviter de passer par date_max et le faire directement dans le .filter().
J'ai essayé d'utiliser les fonctions max() avec des (), des []. Ca ne fonctionne pas.
J'ai bien cherché sur internet, mais rien trouvé de probant.

De même, à la place de passer par la liste de pandas, je sais qu'on peux également utiliser collect().
Là encore, ça ne fonctionne pas.
J'imagine que c'est un problème de format des données.

Je sais faire ça en SQL, néanmoins, je ne progresserai pas en python sans comprendre pourquoi ça plante.

Merci d'avance pour vos explications.

Bonjour

Citation:

---

Envoyé par Rehoc59

et je dois donc apprendre à utiliser python.

---

Si tu fais ça par contrainte et non par envie, c'est dommage...

Citation:

---

Envoyé par Rehoc59

Voici comment j'ai procédé :

Code:

---

1 2	date_max = spark.sql("""select max(date1) `date1` from Matable""") date_max = list(date_max.select('date').toPandas()['date'])

---

---

Donc tu remplaces la première variable "date_max" par un calcul issu de ce même "date_max". Ok ce n'est pas interdit mais alors pourquoi ne pas tout faire en une seule opération?
Je veux dire que si tu écris toto=xxx() puis toto=yyy(toto) tu peux alors écrire directement toto=yyy(xxx()). Et accessoirement les triples quotes ne sont pas utiles ici.
=> date_max = list(spark.sql("select max(date1) `date1` from Matable").select('date').toPandas()['date']).

Citation:

---

Envoyé par Rehoc59

Ca fonctionne et je peux utiliser date_max dans la suite du code :

stock = spark.table("table").select ("date1", "date2", "etc", "etc", (weekofyear("date2")).alias("NUM_week")).filter(col("date1").isin(date_max))MAIS j'aimerais pouvoir éviter de passer par date_max et le faire directement dans le .filter().
J'ai essayé d'utiliser les fonctions max() avec des (), des []. Ca ne fonctionne pas.
J'ai bien cherché sur internet, mais rien trouvé de probant.

---

Rien de probant parce que c'est un truc assez basique, qui fait partie de tous les langages structurés, et qui consiste à utiliser le résultat d'une fonction comme paramètre d'une autre, exactement comme mon exemple toto=yyy(xxx()). Te suffit de remplacer "date_max" dans l'expression par la fonction qui a donné ce "date_max"
=> stock = spark.table("table").select("date1", "date2", "etc", "etc", (weekofyear("date2")).alias("NUM_week")).filter(col("date1").isin(list(spark.sql("select max(date1) `date1` from Matable").select('date').toPandas()['date']))).
Ah effectivement ça pique les yeux. Mais rien ne t'interdit d'écrire plus détaillé...

Code:

---

1 2 3 4 5 6 7

stock = spark.table("table").select( "date1", "date2", "etc", "etc", (weekofyear("date2")).alias("NUM_week"), ).filter(col("date1").isin(list(spark.sql("select max(date1) `date1` from Matable").select('date').toPandas()['date'])))

---

Citation:

---

Envoyé par Rehoc59

Je sais faire ça en SQL, néanmoins, je ne progresserai pas en python sans comprendre pourquoi ça plante.

---

Si tu peux le faire en SQL alors surtout n'hésite pas. Python est un super langage mais il n'est super que parce qu'il est moyen. Il peut tout faire, mais le fait très moyennement (Python meilleur nulle-part, excellent partout). S'il existe un outil annexe qui fait le job, alors fais-le faire par cet outil et pas par Python. Tu gagneras en clarté et en efficacité.

Bonjour,

Merci pour la réponse détaillée.
J'apprends python par plaisir et non par pure obligation.
J'ai fait la même chose avec SQL depuis SAS.

Personne ne m'oblige à trainer sur les forums pour chercher des solutions :)
Comme je l'ai dit, j'aurais pu faire tout ça en SQL, mais où serait le fun ? ^^

En fait avec cette synaxe :

Code:

---

stock = spark.table("table").select("date1", "date2", "etc", "etc", (weekofyear("date2")).alias("NUM_week")).filter(col("date1").isin(list(spark.sql("select max(date1) `date1` from Matable").select('date').toPandas()['date'])))

---

, tu fonctionnes avec le principe de la requête imbriquée et ça me parle bien.

Ma question était plutôt de savoir si max(date1) est transposable en python sans passer par la fonction date_max comme par exemple :

Code:

---

.filter (col("date1") == max("date1"))

---

voir même directement dans le

Code:

---

.select("numero", max(date1)) .groupBy ("numero")

---

Citation:

---

Envoyé par Rehoc59

Ma question était plutôt de savoir si max(date1) est transposable en python

---

Tu veux dire remplacer la requête spark.sql("select max(date1) from Matable") par une instruction Python qui fait la même chose?
Oui et non. Tu sembles à l'aise en SQL donc tu as bien conscience que pour calculer le max(date), SQL récupère toutes les dates de la colonne puis en extait le max.
Donc Python oui peut faire la même chose. Un truc comme max(spak.sql("select date1 from Matable").select('date').toPandas()['date']) (je connais pas spark donc je suis parti de ta première syntaxe pour créer celle-là qui dans mon esprit récupère toutes les dates via SQL pour en extraire la max via Python.

Mais encore une fois, Python est un super langage uniquement parce que ses utilisateurs savent lui faire déléguer quand c'est nécessaire. Récupérer toutes les dates pour en extraire le max c'est consommer inutilement de la ram et du temps CPU là où SQL fait la même chose en plus rapide (Python c'est de l'interprété, SQL c'est du compilé).
Si tu veux du fun, commence par te faire la main sur des listes simples qu'on peut manipuler via une syntaxe appelée "liste en intension" qui déjà permet de se faire plaisir à peu de frais

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

>>> lll=list(range(1, 11)) >>> lll [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] >>> [x**2 for x in lll] [1, 4, 9, 16, 25, 36, 49, 64, 81, 100] >>> [x**3 for x in lll if x%2 != 0] [1, 27, 125, 343, 729] >>> [(x, y) for x in lll for y in lll if x%2 != 0 and y%2 == 0] [(1, 2), (1, 4), (1, 6), (1, 8), (1, 10), (3, 2), (3, 4), (3, 6), (3, 8), (3, 10), (5, 2), (5, 4), (5, 6), (5, 8), (5, 10), (7, 2), (7, 4), (7, 6), (7, 8), (7, 10), (9, 2), (9, 4), (9, 6), (9, 8), (9, 10)] >>> sum(x**4 for x in lll) 25333 >>> max((x + 1/y) for x in lll for y in lll if x%2 != 0 and y%2 == 0) 9.5 >>>

---

Salut,

Citation:

---

Envoyé par Rehoc59

Ma question était plutôt de savoir si max(date1) est transposable en python sans passer par la fonction date_max

---

Certes mais c'est plus un sujet "pandas" qu'un sujet de programmation Python.
note: et à priori, il est préférable de maîtriser un peu Python avant de se lancer dans pandas.

Et comme pour toutes les questions, chercher un peu sur Internet permet souvent de trouver des pistes comme celle-ci.

- W

Bonjour,

Je me rends compte que je tente de faire du SQL en python, alors que SQL fait très bien du SQL tout seul.
Mais bon, on me donne un nouveau jouet, alors je joue :D

Pour pandas, je n'ai pas encore vraiment commencé.
J'ai bien conscience qu'on trouve des pistes sur internet, ce bout de code vient d'ailleurs de là :

Code:

---

list(date_max.select('date').toPandas()['date'])

---

Comme précisé, le bout de requête fonctionne, c'était plus de la curiosité.

Je vous remercie pour vos réponses.