python et SQL : créer une table depuis un csv et définir le type des colonnes

Bonjour

j'aimerai exploiter une base de données évec python
Je sais me connecter à une base postgre par exemple, ou alors utilser sqlite.
je sais donc créer des tables, faire des requetes etc..., des trucs basiques

Maintenanrt, j'ai une table csv avec plein de colonnes.
j'aimerai créer une table SQL à parti de ce csv.

Si je devais le faire comme je sais faire, le taperai la commande à la main pour créer à la table, et je rentre un par un le nom des colonnes.

j'ai vu qu'il est possible de charger le csv et de créer une table qui va se baser sur le nom des colonnes du csv.

Ma question est comment est-ce que je peux maitriser le type des colonnes.
genre un colonne du csv qui aque des entiers sera défini avec un type INT?
Si c'est le cas, et qu'en fait je veux que nombres soit considérés comme du string, comment je peux faire?

je dois changer un par un les colonnes qui sont concernées?

merci

Bonjour

Citation:

---

Envoyé par marietar

j'ai vu qu'il est possible de charger le csv et de créer une table qui va se baser sur le nom des colonnes du csv.

---

Tu as vu ça où ? Dans quel contexte ? Avec quel outil ?

Citation:

---

Envoyé par marietar

Si c'est le cas, et qu'en fait je veux que nombres soit considérés comme du string, comment je peux faire?

---

Comme pour Excel: tu rajoutes une quote simple devant ton nombre. Ou alors (si l'outil ne sait pas traiter) tu places ton nombre entre deux quotes simples/doubles.

Citation:

---

Envoyé par marietar

je dois changer un par un les colonnes qui sont concernées?

---

Ah ben probablement. Il n'y a pas de magie. Si l'outil comprend "nombre=int" alors il ne faut pas qu'il voie du nombre. Accessoirement, sous Postgres, il y a plein d'int différents (shortint, integer, bigint). Donc même quand on a vraiment des nombres, l'association "nombre=int" n'est pas forcément adéquate.

Personnellement je n'aime pas les "outils automatiques". Je veux créer une table qui doit bouffer de la data, je me creuse le citron puis je crée réellement ma table. Ce qui me permet de l'affiner au mieux.

Salut,

Citation:

---

Envoyé par marietar

je dois changer un par un les colonnes qui sont concernées?

---

"123" pourra être un int, un float ou une chaine de caractères. Le plus simple sera d'avoir l'association entre nom de colonne et son type pour fabriquer la table. Plus compliqué sera de regarder toutes les valeurs d'une colonne pour décider si on peut la considérer comme float ou int.

- W

bonjour

Citation:

---

Le plus simple sera d'avoir l'association entre nom de colonne et son type pour fabriquer la table

---

Tout à fait !
une solution "simple" (par forcément toujours possible) est d'éditer ton csv et de modifier la première ligne d'entête, puis de la décomposer pour assigner un type sql:

Code:

---

1 2 3

nom,prenom,age, # on passe en nom:text,prenom:text,age:integer,

---

Et si il ne faut pas modifier le fichier, on peut aussi parfois passer en paramètres au script les types

Code:

---

script.py fichier.cvs --types="text,text,integer"

---

Citation:

---

Envoyé par Sve@r

Bonjour

Tu as vu ça où ? Dans quel contexte ? Avec quel outil ?

---

je crois que j'ai lu trop vite ma source d'info

genre avec sqlite, j'avais cette commande:
import c:/sqlite/city.csv cities
Mais je viens de voir que au préalable, je dois créer la table et entrer les colonnes une par une.


que ce soit avec sqllite, duckcb, sql server ou autres, on doit donc forcément définir les noms des colonnes une par une???

Citation:

---

Envoyé par marietar

Mais je viens de voir que au préalable, je dois créer la table et entrer les colonnes une par une. $

---

:ptdr:

Citation:

---

Envoyé par marietar

que ce soit avec sqllite, duckcb, sql server ou autres, on doit donc forcément définir les noms des colonnes une par une???

---

Ben oui. Dans les "bases de données" c'est un peu la... base...:aie:

Citation:

---

Envoyé par marietar

que ce soit avec sqllite, duckcb, sql server ou autres, on doit donc forcément définir les noms des colonnes une par une???

---

C'est vrai pour les bases de données relationnelles... mais il y a aussi des bases de données noSQL (qui ne sont pas basées sur un modèle relationnel).

- W

Citation:

---

Envoyé par marietar

on doit donc forcément définir les noms des colonnes une par une???

---

Et où est le problème ? python est fait pour coder, il suffit de coder (écrire 10 lignes, c'est aussi rapide que de demander et redemander dans un forum)

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

fichier = "toto.csv" entetes = {} with open(fichier, "r") as fcsv: reader = csv.DictReader(fcsv, delimiter=';') entetes = {e: "TEXT" for e in reader.fieldnames}   if not entetes: exit(1)   cmd = "" for entete in entetes: cmd += f"'{entete}' {entetes[entete]}, " sql = f"CREATE TABLE IF NOT EXISTS toto ({cmd[:-2]});"   print(sql)

---

sans la gestion des types ;)

Hello,

Pandas ?

Code:

---

df = pd.read_csv('mon_csv.csv', dtype=types)

---

types est le dictionnaire des types de chaque colonne que l'on souhaite caster (voir doc).

et puis par la suite on crée une table ou on là modifie avec la méthode to_sql.

Re
j'ai vu ce lien:
https://www.sqlitetutorial.net/sqlite-import-csv/

apparemment on peut charger un csv sans créer la table en définition les colonnes une par une.

C'est pas bien de faire comme ca?

Salut,

Citation:

---

Envoyé par marietar

apparemment on peut charger un csv sans créer la table en définition les colonnes une par une.

---

Relisez bien l'article:
1. "on" c'est l'interface ligne de commande de sqlite,
2. la table doit être préalablement créée...

Citation:

---

Envoyé par marietar

C'est pas bien de faire comme ca?

---

Un truc est "bien" à partir du moment où vous arrivez à le faire fonctionner et que ça produit le résultat souhaité.
Dans le cas présent vous n'avez pas essayé... alors c'est peut être "bien" pour moi (je sais le faire fonctionner) mais comme il faut quand même créer la table, est-ce bien pour vous?

- W

Citation:

---

Envoyé par marietar

j'ai vu

---

On tourne en rond !
Nous sommes un forum de "codeurs" pas un forum d'outils.

Si tu désires coder ton script, on peut t'aider à condition que tu codes… pour l'instant, tu n'as même pas essayé :roll:
Si tu recherches un outil, existe 999 outils, mais cela n'est pas un sujet python