Discussion :

[marietar]

Bonjour

j'aimerai exploiter une base de données évec python
Je sais me connecter à une base postgre par exemple, ou alors utilser sqlite.
je sais donc créer des tables, faire des requetes etc..., des trucs basiques

Maintenanrt, j'ai une table csv avec plein de colonnes.
j'aimerai créer une table SQL à parti de ce csv.

Si je devais le faire comme je sais faire, le taperai la commande à la main pour créer à la table, et je rentre un par un le nom des colonnes.

j'ai vu qu'il est possible de charger le csv et de créer une table qui va se baser sur le nom des colonnes du csv.

Ma question est comment est-ce que je peux maitriser le type des colonnes.
genre un colonne du csv qui aque des entiers sera défini avec un type INT?
Si c'est le cas, et qu'en fait je veux que nombres soit considérés comme du string, comment je peux faire?

je dois changer un par un les colonnes qui sont concernées?

merci

[Sve@r]

Bonjour

j'ai vu qu'il est possible de charger le csv et de créer une table qui va se baser sur le nom des colonnes du csv.

Tu as vu ça où ? Dans quel contexte ? Avec quel outil ?

Si c'est le cas, et qu'en fait je veux que nombres soit considérés comme du string, comment je peux faire?

Comme pour Excel: tu rajoutes une quote simple devant ton nombre. Ou alors (si l'outil ne sait pas traiter) tu places ton nombre entre deux quotes simples/doubles.

je dois changer un par un les colonnes qui sont concernées?

Ah ben probablement. Il n'y a pas de magie. Si l'outil comprend "nombre=int" alors il ne faut pas qu'il voie du nombre. Accessoirement, sous Postgres, il y a plein d'int différents (shortint, integer, bigint). Donc même quand on a vraiment des nombres, l'association "nombre=int" n'est pas forcément adéquate.

Personnellement je n'aime pas les "outils automatiques". Je veux créer une table qui doit bouffer de la data, je me creuse le citron puis je crée réellement ma table. Ce qui me permet de l'affiner au mieux.

[wiztricks]

Salut,

je dois changer un par un les colonnes qui sont concernées?

"123" pourra être un int, un float ou une chaine de caractères. Le plus simple sera d'avoir l'association entre nom de colonne et son type pour fabriquer la table. Plus compliqué sera de regarder toutes les valeurs d'une colonne pour décider si on peut la considérer comme float ou int.

- W

[papajoker]

bonjour

Le plus simple sera d'avoir l'association entre nom de colonne et son type pour fabriquer la table

Tout à fait !
une solution "simple" (par forcément toujours possible) est d'éditer ton csv et de modifier la première ligne d'entête, puis de la décomposer pour assigner un type sql:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
nom,prenom,age,
# on passe en
nom:text,prenom:text,age:integer,

Et si il ne faut pas modifier le fichier, on peut aussi parfois passer en paramètres au script les types

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

script.py fichier.cvs --types="text,text,integer"

[marietar]

Bonjour

Tu as vu ça où ? Dans quel contexte ? Avec quel outil ?

je crois que j'ai lu trop vite ma source d'info

genre avec sqlite, j'avais cette commande:
import c:/sqlite/city.csv cities
Mais je viens de voir que au préalable, je dois créer la table et entrer les colonnes une par une.


que ce soit avec sqllite, duckcb, sql server ou autres, on doit donc forcément définir les noms des colonnes une par une???

[Sve@r]

Mais je viens de voir que au préalable, je dois créer la table et entrer les colonnes une par une. $

que ce soit avec sqllite, duckcb, sql server ou autres, on doit donc forcément définir les noms des colonnes une par une???

Ben oui. Dans les "bases de données" c'est un peu la... base...

[wiztricks]

que ce soit avec sqllite, duckcb, sql server ou autres, on doit donc forcément définir les noms des colonnes une par une???

C'est vrai pour les bases de données relationnelles... mais il y a aussi des bases de données noSQL (qui ne sont pas basées sur un modèle relationnel).

- W

[papajoker]

on doit donc forcément définir les noms des colonnes une par une???

Et où est le problème ? python est fait pour coder, il suffit de coder (écrire 10 lignes, c'est aussi rapide que de demander et redemander dans un forum)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
fichier = "toto.csv"
entetes = {}
with open(fichier, "r") as fcsv:
    reader = csv.DictReader(fcsv, delimiter=';')
    entetes = {e: "TEXT" for e in reader.fieldnames}
 
if not entetes:
    exit(1)
 
cmd = ""
for entete in entetes:
    cmd += f"'{entete}' {entetes[entete]}, "
sql = f"CREATE TABLE IF NOT EXISTS toto ({cmd[:-2]});"
 
print(sql)

sans la gestion des types

[fred1599]

Hello,

Pandas ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

df = pd.read_csv('mon_csv.csv', dtype=types)

types est le dictionnaire des types de chaque colonne que l'on souhaite caster (voir doc).

et puis par la suite on crée une table ou on là modifie avec la méthode to_sql.

[marietar]

Re
j'ai vu ce lien:
https://www.sqlitetutorial.net/sqlite-import-csv/

apparemment on peut charger un csv sans créer la table en définition les colonnes une par une.

C'est pas bien de faire comme ca?

[wiztricks]

Salut,

apparemment on peut charger un csv sans créer la table en définition les colonnes une par une.

Relisez bien l'article:
1. "on" c'est l'interface ligne de commande de sqlite,
2. la table doit être préalablement créée...

C'est pas bien de faire comme ca?

Un truc est "bien" à partir du moment où vous arrivez à le faire fonctionner et que ça produit le résultat souhaité.
Dans le cas présent vous n'avez pas essayé... alors c'est peut être "bien" pour moi (je sais le faire fonctionner) mais comme il faut quand même créer la table, est-ce bien pour vous?

- W

[papajoker]

j'ai vu

On tourne en rond !
Nous sommes un forum de "codeurs" pas un forum d'outils.

Si tu désires coder ton script, on peut t'aider à condition que tu codes… pour l'instant, tu n'as même pas essayé
Si tu recherches un outil, existe 999 outils, mais cela n'est pas un sujet python