importer CSV dans une base

Version imprimable

04/12/2007, 12h23
altair8080

importer CSV dans une base

Bonjour,
je cherche un tuto ou exemple pour importer un fichier CSV dans une table.

explication :
à une adresse http://www.monsite.com/fichier.csv

le fichier CSV (séparateur ; et le texte est encapsulé par des ")

J'ai une table contacts
id | nom | prénom | email | société | téléphone

mon fichier CSV est de même structure

Comment récupérer mon fichier et l'insérer dans ma table contacts

Merci de votre aide

j'ai presque réussi mais je n'arrive pas à intégrer tout mon fichier CSV

à chaque fois que je fais une tentative, j'ai entre 160 à 2880 lignes sur les 13000

n'ayant pas trouvé comment faire pour la séparation point virgule, je suis passé en ,

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
 
require 'csv'
class CreateDonnees < ActiveRecord::Migration
  def self.up
    create_table :donnees do |t|
      t.column :produit, :string
      t.column :programme, :string 
      t.column :produit_numero, :string 
      t.column :produit_nom, :string
      t.column :produit_prix, :string
      t.column :produit_ancien_prix, :string
      t.column :produit_devise, :string
      t.column :produit_date_maj, :string
      t.column :produit_date_debut, :string
      t.column :produit_date_fin, :string
      t.column :produit_courte_description, :string
      t.column :produit_longue_description, :string                  
      t.column :produit_status, :string
      t.column :produit_categorie, :string
      t.column :produit_categorie_df, :string
      t.column :produit_small_image_url, :string
      t.column :produit_medium_image_url, :string
      t.column :produit_large_image_url, :string            
      t.column :produit_marque, :string
      t.column :produit_lien, :string
      t.column :produit_df_categorie_numero, :string
      t.column :produit_categorie_numero, :string
      t.column :produit_delai_livraison, :string
      t.column :produit_garantie, :string
      t.column :produit_ean, :string
      t.column :produit_voir, :string
      t.column :produit_frais_port, :string
      t.column :produit_texte_sup1, :string
      t.column :produit_texte_sup2, :string
      t.column :produit_texte_sup3, :string
    end
    ## 
  ### Import Data from CSV file 
  ### 
  CSV::Reader.parse(File.open("#{RAILS_ROOT}/db/donnees.csv", 'rb')) do |row| 
  this_row = { 
 
      :produit => row[0], 
      :programme => row[1],  
      :produit_numero => row[2],  
      :produit_nom => row[3], 
      :produit_prix => row[4], 
      :produit_ancien_prix => row[5], 
      :produit_devise => row[6], 
      :produit_date_maj => row[7], 
      :produit_date_debut => row[8], 
      :produit_date_fin => row[9], 
      :produit_courte_description => row[10], 
      :produit_longue_description => row[11],                   
      :produit_status => row[12], 
      :produit_categorie => row[13], 
      :produit_categorie_df => row[14], 
      :produit_small_image_url => row[15], 
      :produit_medium_image_url => row[16], 
      :produit_large_image_url => row[17],             
      :produit_marque => row[18], 
      :produit_lien => row[19], 
      :produit_df_categorie_numero => row[20], 
      :produit_categorie_numero => row[21], 
      :produit_delai_livraison => row[22], 
      :produit_garantie => row[23], 
      :produit_ean => row[24], 
      :produit_voir => row[25], 
      :produit_frais_port => row[26], 
      :produit_texte_sup1 => row[27], 
      :produit_texte_sup2 => row[28], 
      :produit_texte_sup3 => row[29]
  }
  donnee = Donnee.new(this_row) 
  donnee.save!  
  end 
 
  end
 
  def self.down
    drop_table :donnees
  end
end

Je suis ouvert à toutes propositions pour améliorer ceci.

et surtout je cherche à savoir pourquoi toutes les données ne sont pas intégrées alors que je n'ai pas de message d'erreur => le script indique -> 0,0470s

Merci

05/12/2007, 10h05
Côme
Bonjour,

Cela me semble pas mal. Tu pourrais condenser un peu plus en utilisant la méthode "create" :
Code:

1 2 3 CSV::Reader.parse(File.open("#{RAILS_ROOT}/db/donnees.csv", 'rb')) do |row| Donnee.create(:produit => row[0], :programme => row[1], etc ...) end
Si tu veux utiliser le point virgule, il faut ajouter l'option le caractère ";" dans ton appel de la méthode parse, comme ceci :
Code:

1 2 3 4 5 CSV::Reader.parse(File.open("#{RAILS_ROOT}/db/donnees.csv", 'rb'), ';') do ... end
De mon côté, je préfère utiliser une tache rake pour le chargement des données. Même si il est très tentant de procéder à cette tâche dans une migration, il est souvent déconseillé de mélanger le modèle des données et les données.

Côme
06/12/2007, 10h18
altair8080

Merci Côme,

/****
De mon côté, je préfère utiliser une tache rake pour le chargement des données. Même si il est très tentant de procéder à cette tâche dans une migration, il est souvent déconseillé de mélanger le modèle des données et les données.
/*****

Je vais partir dans ce sens mais je voulais déjà être certains que les choses fonctionnement correctement.

Pour passer par une tache rake peux tu me donner une adresse expliquant comment faire cela

A terme cela devra être automatisé (je pense utiliser un genre de cron mais il faut que je vois si il y a pas autre chose avec Ror)
Merci
06/12/2007, 12h02
Mookie

Tu trouveras une vidéo ici : http://www.railscasts.com/episodes/66

lors de l'execution de mon rake perso j'ai un problème pour acceder insérer.
Je sais qu'il me manque quelque chose pour faire référence au model, je ne trouve pas la bonne syntaxe

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
 
 
namespace :maj do
  desc "Mise à jour des données produits"
  task(:import_csv) do
require 'csv'
 
    liste_fichier = ["donnee.csv"]
 
    for fichier in liste_fichier
 
      # Existent-ils ?
      if File.exists?("#{RAILS_ROOT}/db/#{fichier}")
        puts "Importation de #{fichier} !"
        CSV::Reader.parse(File.open("#{RAILS_ROOT}/db/#{fichier}", 'rb')) do |row| 
  donnee.create( 
 
      :produit => row[0], 
      :programme => row[1],  
      :produit_numero => row[2],  
      :produit_nom => row[3], 
      :produit_prix => row[4], 
      :produit_ancien_prix => row[5], 
      :produit_devise => row[6], 
      :produit_date_maj => row[7], 
      :produit_date_debut => row[8], 
      :produit_date_fin => row[9], 
      :produit_courte_description => row[10], 
      :produit_longue_description => row[11],                   
      :produit_status => row[12], 
      :produit_categorie => row[13], 
      :produit_categorie_zanox => row[14], 
      :produit_small_image_url => row[15], 
      :produit_medium_image_url => row[16], 
      :produit_large_image_url => row[17],             
      :produit_marque => row[18], 
      :produit_lien => row[19], 
      :produit_zanox_categorie_numero => row[20], 
      :produit_categorie_numero => row[21], 
      :produit_delai_livraison => row[22], 
      :produit_garantie => row[23], 
      :produit_ean => row[24], 
      :produit_voir => row[25], 
      :produit_frais_port => row[26], 
      :produit_texte_sup1 => row[27], 
      :produit_texte_sup2 => row[28], 
      :produit_texte_sup3 => row[29]
  )
 
  end 
 
      else
        puts "#{RAILS_ROOT}/db/#{fichier} n'existe pas"
      end
    end
  end
end

en exécutant le rake, j'obtiens

Code:

1
2
3
4
 
Importation de donnee.csv !
rake aborted!
undefined local variable or method `donnee' for main:Object

Citation:

Envoyé par altair8080

Pour passer par une tache rake peux tu me donner une adresse expliquant comment faire cela

En fait ce n'est pas sorcier, puisque tu as accès à tous tes modèles directement. Personnellement j'ai créé un fichier "batchs.rake" dans "/lib/tasks". Mais on peu l'appeler comme on veut.

Dans ce fichier, tu dois pouvoir écrire directement ton chargement depuis le CSV comme ceci (il faut faire un require "csv" quelque part, soit dans l'environnement, soit dans ton batch) :
Code:

1 2 3 4 5 6 7 8 namespace :batchs do desc "Batch applicatifs" task(:feed => :environment) do CSV::Reader.parse(File.open("#{RAILS_ROOT}/db/donnees.csv", 'rb')) do |row| Donnee.create(:produit => row[0], :programme => row[1], etc ...) end end end

06/12/2007, 14h15
altair8080

Merci il me manquait
=> environnement

et D au lieu de d

maintenant que je peux importer mes données, je vais pouvoir travailler sur la partie metier. Merci
20/09/2009, 14h51
sarita_ima

Bonjour,
je travaille sur un projet et j'ai besoin moi aussi d'importer les donnees d'un fichier csv, j'ai copier ce code en essayant de le modifier mais j'ai eu beaucoup d'erreurs, est ce que je dois télécharger une librairie que je n'ai pas, et comment utiliser batch car j'ai pas bien saisi. j travailles avec myeclipse. Merci d'avance pour votre aide