Ajouter à une view hive des nouvelles colonnes d'une autre table

Bonjour,

Je veux savoir s'il vous plait comment je peux ajouter des colonnes à une view hive a partir d'une autre table différente lors de la création.

cad : j'ai crée une vue à partir d'une table T1 puis je vais ajouter à cette vue des colonnes à partir d'une table T2 . Comment je peux faire ça.

Merci d'avance

euh...

pouvez vous donner plus de contexte ? on ne sait même pas su vous parler de développement web ou bien graphique.

Merci pour votre réponse. En effet je traite des tables Hive ( big data). j'ai 2 tables T1 et T2. Je veux créer une view hive à partir de la table T1 et puis ajouter des colonnes de T2 qui n'appartiennent pas à T1 .

Code:

---

self.sqlContext.sql("create or replace view "+View_Name+" AS SELECT * FROM "+T1)

---

puis je veux ajouter des colonnes à partir de T2

je pense qu'il faut utiliser des jointures, ça devrait être quelque chose du genre

Code:

---

1 2 3 4 5

CREATE OR REPLACE VIEW `view_name` AS SELECT t1.`col1`, t1.`col2`, t1.`coln`, t2.`col1` FROM `table_1` AS t1 JOIN `table_2` AS t2 ON t1.`col1` = t2.`col2`

---

n'ayant jamais utilisé de views jusqu'à présent je ne suis pas sur

Merci pour votre réponse mais je ne peux pas faire des jointures car :

- je connais pas les colonnes : en fait c'est traitement automatique qui va traiter des milliers de tables

- je vais ajouter des colonnes de T2 qui n’appartiennent pas à T1

Citation:

---

je connais pas les colonnes : en fait c'est traitement automatique qui va traiter des milliers de tables

---

ça c'est juste une syntaxe qui semble correspondre à vos besoin
rien ne vous empêche de créer dynamiquement votre requête, après tout ce n'est qu'une chaîne de caractères, et ça tombe bien Python a tous les outils nécessaires pour ça.

Citation:

---

je vais ajouter des colonnes de T2 qui n’appartiennent pas à T1

---

c'est pas le principe des jointures ?

Salut,

Citation:

---

Envoyé par _junior_

Merci pour votre réponse. En effet je traite des tables Hive ( big data). j'ai 2 tables T1 et T2. Je veux créer une view hive à partir de la table T1 et puis ajouter des colonnes de T2 qui n'appartiennent pas à T1 .

---

Pour écrire des requêtes SQL, vous avez des forum base de données; Du point de vue de Python, une requête SQL, c'est juste une chaine de caractères avec éventuellement des paramètres.

- W

Bonjour,

Je pense que si récupère les deux tables en tant que pandas dataframe c'est mieux ?

Si oui comment je peux ajouter des lignes à partir de dataframe df1 dans dataframe df2 ?

Cad : j'ai une table T1 -->df1
T2-->df2

je veux ajouter dans df2 des lignes de df1 puis transfomer df2 en une spark dataframe puis creer une vue hive

Code:

---

1 2 3 4 5 6

query3='DESCRIBE '+self.destinationTable2 df1=self.sqlContext.sql(query3) m1=df1.toPandas() query4='DESCRIBE '+self.destinationTable df2=self.sqlContext.sql(query4) m2=df2.toPandas()

---

Merci pour votre aide

Salut,

Citation:

---

Envoyé par _junior_

Si oui comment je peux ajouter des lignes à partir de dataframe df1 dans dataframe df2 ?

---

A priori, pour ajouter des lignes, c'est concat et pour ajouter des colonnes, c'est join.

Pour le reste, vous n'êtes pas en train de faire un exercice pour comprendre les concepts de base du langage. Alors ouvrir la documentation, faire un peu de recherche sur Internet, écrire un petit script qui essaie de reproduire l'opération que vous voulez faire, ... est le travail préalable que vous devez avoir fait avant de poster.

- W

Bonjour,

MErci pour votre réponse, mais je suis bloquée depuis 3 jours j'ai lu toutes les documentations et j'ai essayé toutes les solutions possibles c'est pourquoi j'ai écris

en faite j'ai essayé la concat et ça fonctionne pas voila l'erreur

Citation:

---

TypeError: cannot concatenate object of type '<class 'pyspark.sql.dataframe.DataFrame'>'; only Series and DataFrame objs are valid

---

Merci pour votre compréhension

Salut,

L'erreur vous dit que vos dataframes ne sont pas des Dataframes pandas.
Elle dit aussi que vous utilisez la bibliothèque pyspark.

Citation:

---

Envoyé par _junior_

MErci pour votre réponse, mais je suis bloquée depuis 3 jours j'ai lu toutes les documentations et j'ai essayé toutes les solutions possibles c'est pourquoi j'ai écris

---

Une solution qui ne fonctionne pas n'est pas une solution... c'est éventuellement au mieux une piste, une idée,...

Une solution se construit en partant de la description du problème avec des exemples de ce qu'on veut obtenir.
Puis on "teste" des idées sur le papier avec des exemples simples....
Et lorsqu'on est confiant que çà va le faire, on essaie de traduire çà en code et on s'assure que l'idée de départ fonctionne.

On peut essayer de s'affranchir de certaines étapes en misant sur la chance, l'expérience,...
Quand çà ne marche pas, on se retrouve à devoir construire la solution "proprement".
C'est long, plein de pièges et fastidieux,...

- W

Bonjour ,

Merci pour votre réponse, je prend en considération vos remarques constructives :D

Merci encore une fois :D