Discussion :

[_junior_]

Bonjour,

Je veux savoir s'il vous plait comment je peux ajouter des colonnes à une view hive a partir d'une autre table différente lors de la création.

cad : j'ai crée une vue à partir d'une table T1 puis je vais ajouter à cette vue des colonnes à partir d'une table T2 . Comment je peux faire ça.

Merci d'avance

[flapili]

euh...

pouvez vous donner plus de contexte ? on ne sait même pas su vous parler de développement web ou bien graphique.

[_junior_]

Merci pour votre réponse. En effet je traite des tables Hive ( big data). j'ai 2 tables T1 et T2. Je veux créer une view hive à partir de la table T1 et puis ajouter des colonnes de T2 qui n'appartiennent pas à T1 .

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

self.sqlContext.sql("create or replace view "+View_Name+" AS SELECT * FROM "+T1)

puis je veux ajouter des colonnes à partir de T2

[flapili]

je pense qu'il faut utiliser des jointures, ça devrait être quelque chose du genre

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
CREATE OR REPLACE VIEW `view_name` AS
SELECT t1.`col1`, t1.`col2`, t1.`coln`, t2.`col1`
FROM `table_1` AS t1
JOIN `table_2` AS t2 ON t1.`col1` = t2.`col2`

n'ayant jamais utilisé de views jusqu'à présent je ne suis pas sur

[_junior_]

Merci pour votre réponse mais je ne peux pas faire des jointures car :

- je connais pas les colonnes : en fait c'est traitement automatique qui va traiter des milliers de tables

- je vais ajouter des colonnes de T2 qui n’appartiennent pas à T1

[flapili]

je connais pas les colonnes : en fait c'est traitement automatique qui va traiter des milliers de tables

ça c'est juste une syntaxe qui semble correspondre à vos besoin
rien ne vous empêche de créer dynamiquement votre requête, après tout ce n'est qu'une chaîne de caractères, et ça tombe bien Python a tous les outils nécessaires pour ça.

je vais ajouter des colonnes de T2 qui n’appartiennent pas à T1

c'est pas le principe des jointures ?

[wiztricks]

Salut,

Merci pour votre réponse. En effet je traite des tables Hive ( big data). j'ai 2 tables T1 et T2. Je veux créer une view hive à partir de la table T1 et puis ajouter des colonnes de T2 qui n'appartiennent pas à T1 .

Pour écrire des requêtes SQL, vous avez des forum base de données; Du point de vue de Python, une requête SQL, c'est juste une chaine de caractères avec éventuellement des paramètres.

- W

[_junior_]

Bonjour,

Je pense que si récupère les deux tables en tant que pandas dataframe c'est mieux ?

Si oui comment je peux ajouter des lignes à partir de dataframe df1 dans dataframe df2 ?

Cad : j'ai une table T1 -->df1
T2-->df2

je veux ajouter dans df2 des lignes de df1 puis transfomer df2 en une spark dataframe puis creer une vue hive

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
query3='DESCRIBE '+self.destinationTable2
df1=self.sqlContext.sql(query3)
m1=df1.toPandas()
query4='DESCRIBE '+self.destinationTable
df2=self.sqlContext.sql(query4)
m2=df2.toPandas()

Merci pour votre aide

[wiztricks]

Salut,

Si oui comment je peux ajouter des lignes à partir de dataframe df1 dans dataframe df2 ?

A priori, pour ajouter des lignes, c'est concat et pour ajouter des colonnes, c'est join.

Pour le reste, vous n'êtes pas en train de faire un exercice pour comprendre les concepts de base du langage. Alors ouvrir la documentation, faire un peu de recherche sur Internet, écrire un petit script qui essaie de reproduire l'opération que vous voulez faire, ... est le travail préalable que vous devez avoir fait avant de poster.

- W