IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

SQL Procédural MySQL Discussion :

[Noob] Insert Data from file


Sujet :

SQL Procédural MySQL

  1. #1
    Futur Membre du Club
    Inscrit en
    Novembre 2012
    Messages
    2
    Détails du profil
    Informations forums :
    Inscription : Novembre 2012
    Messages : 2
    Points : 5
    Points
    5
    Par défaut [Noob] Insert Data from file
    Bonjour à tous,

    Tout d'abord je suis un Noob sur MySQL, j'ai cherché ma réponse mais je n'utilise peut être pas les bons mots clefs.


    Je souhaite tester la connectivité entre deux systèmes (MySQL et un systeme legacy produisant des CSV). L'export depuis MySQL vers le legacy fonctionne, mais je n'arrive pas à charger les fichiers CSV de la legacy par MySQL.

    En gros, j'ai un fichier csv quelque part, je peux le charger en saisissant la query suivante :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
     
    Truncate table test;
    LOAD DATA INFILE "D:/AnaConnect/data/Organization.csv" INTO TABLE test FIELDS TERMINATED BY ',' IGNORE 1 LINES;
    Manuellement, cela fonctionne sans problème.

    Bien sur je souhaite automatiser cela et ne pas avoir a saisir la query a chaque fois. Je pense que les Stored Procedure servent à cela et sont planifiables (via un Scheduler)

    Cependant, je crois comprendre que je ne peux pas saisir de LOAD DATA dans une stored procedure (why??).

    Ma question est donc la suivante : comment est ce que je peux automatiser un chargement de fichier plat dans une table de MySQL.

    Dans le meilleur des monde ce chargement pourrait etre déclencher dans un .bat.

    Cordialement,
    Yls

  2. #2
    Expert éminent sénior Avatar de Artemus24
    Homme Profil pro
    Agent secret au service du président Ulysses S. Grant !
    Inscrit en
    Février 2011
    Messages
    6 344
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Agent secret au service du président Ulysses S. Grant !
    Secteur : Finance

    Informations forums :
    Inscription : Février 2011
    Messages : 6 344
    Points : 18 919
    Points
    18 919
    Par défaut
    Salut YlsNovak.

    Citation Envoyé par YlsNovak
    L'export depuis MySQL vers le legacy fonctionne
    Depuis phpmyadmin, vous faites un export de la totalité de votre table. Est-ce cela dont vous parlez ?

    Citation Envoyé par YlsNovak
    je n'arrive pas à charger les fichiers CSV de la legacy par MySQL.
    Normalement, il faut utiliser un "load data local infile" : http://dev.mysql.com/doc/refman/5.7/en/load-data.html
    Sinon pourquoi ne pas faire un import depuis legacy ?

    Citation Envoyé par YlsNovak
    Manuellement, cela fonctionne sans problème.
    Qu'est-ce que vous entendez par manuellement ?

    Citation Envoyé par YlsNovak
    Je pense que les Stored Procedure servent à cela et sont planifiables (via un Scheduler)
    Non pas du tout, ce n'est pas le bon outil.

    Si vous devez exécuter le même script MySql, entre autre le "load data local infile" à partir du même fichier ".csv", vous devez :
    1) constituer votre script, sachant que le fichier doit être disponible avant l'exécution.
    2) si vous travaillez sous windows vous devez utiliser le planificateur de tâche.
    Si vous êtes sous linux, vous devez utiliser la crontab.

    Voici un exemple de chargement :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    126
    127
    128
    129
    130
    131
    132
    133
    134
    135
    136
    Heure Début : 18:17:21,12
     
    --------------
    SET AUTOCOMMIT = 0
    --------------
     
    --------------
    START TRANSACTION
    --------------
     
    --------------
    DROP DATABASE IF EXISTS `base`
    --------------
     
    --------------
    CREATE DATABASE IF NOT EXISTS `base`
            DEFAULT CHARACTER SET `latin1`
            DEFAULT COLLATE       `latin1_general_ci`
    --------------
     
    --------------
    DROP TABLE IF EXISTS Cities
    --------------
     
    --------------
    CREATE TABLE Cities (
        Country     CHAR(2),
        City        CHAR(22),
        AccentCity  CHAR(3),
        Region      CHAR(2),
        Population  INT UNSIGNED NULL DEFAULT NULL,
        Latitude    FLOAT,
        Longitude   FLOAT,
            Date        DATETIME
    ) ENGINE=InnoDB
      DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci`
      ROW_FORMAT=COMPRESSED
    --------------
     
    --------------
    TRUNCATE Cities
    --------------
     
    --------------
    set unique_checks      = 0
    --------------
     
    --------------
    set foreign_key_checks = 0
    --------------
     
    --------------
    set sql_log_bin        = 0
    --------------
     
    --------------
    alter table Cities DISABLE KEYS
    --------------
     
    --------------
    commit
    --------------
     
    --------------
    LOAD DATA LOCAL INFILE 'fichier.txt'
         INTO TABLE `Cities`
         CHARACTER SET latin1
         FIELDS TERMINATED BY ','
         ENCLOSED BY '"'
         ESCAPED BY '\\' LINES
         TERMINATED BY '\r\n'
         IGNORE 0 LINES
         (@F1, @F2, @F3, @F4, Population, Latitude, Longitude, @F8)
         set Country = trim(@F1),
                City = trim(@F2),
          AccentCity = trim(@F3),
              Region = trim(@F4),
                Date = outils.chgdate(@F8)
    --------------
     
    --------------
    commit
    --------------
     
    --------------
    alter table Cities ENABLE KEYS
    --------------
     
    --------------
    set unique_checks      = 1
    --------------
     
    --------------
    set foreign_key_checks = 1
    --------------
     
    --------------
    set sql_log_bin        = 1
    --------------
     
    --------------
    commit
    --------------
     
    --------------
    select  concat('>', Country,   '<') as 'Country',
                    concat('>', City,      '<') as 'City',
                    concat('>', AccentCity,'<') as 'AccentCity',
                    concat('>', Region,    '<') as 'Region',
                    concat('>', Population,'<') as 'Population',
                    concat('>', Latitude,  '<') as 'Latitude',
                    concat('>', Longitude, '<') as 'Longitude',
                    concat('>', date,      '<') as 'Date'
    from `Cities`
    --------------
     
    +---------+-----------------------+------------+--------+------------+----------+-----------+-----------------------+
    | Country | City                  | AccentCity | Region | Population | Latitude | Longitude | Date                  |
    +---------+-----------------------+------------+--------+------------+----------+-----------+-----------------------+
    | >fr<    | >dijon bourgogne<     | >---<      | >bo<   | >500000<   | >200<    | >150<     | >2015-12-10 15:20:00< |
    | >fr<    | >paris ile de france< | >---<      | >il<   | >2000000<  | >100<    | >50<      | >2015-06-15 07:15:00< |
    | >fr<    | >nice paca<           | >---<      | >pa<   | >100000<   | >250<    | >75<      | >2015-07-25 19:58:00< |
    | >fr<    | >paca<                | >---<      | >pa<   | >100000<   | >250<    | >75<      | >2015-07-25 19:58:00< |
    +---------+-----------------------+------------+--------+------------+----------+-----------+-----------------------+
    --------------
    COMMIT
    --------------
     
    --------------
    SET AUTOCOMMIT = 0
    --------------
     
     
    Heure Fin ..: 18:17:21,72
     
    Appuyez sur une touche pour continuer...
    ce chargement pourrait etre déclencher dans un .bat.
    Donc vous êtes sous windows !
    Je vous communique aussi mon ".bat" de cet exemple.
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    @echo off
     
    setlocal enableDelayedExpansion
     
    chcp 1252 > nul
     
    set PATH=.;%WAMPSERVER%\bin\mysql\%MYSQL%\bin\;%PATH%
     
    SET FIC=%~nx0
    SET FIC=%FIC:bat=sql%
     
    @echo Heure Début : %time%
    @echo.
    mysql < %FIC%  --verbose  --force
    @echo.
    @echo Heure Fin ..: %time%
    @echo.
    pause
    exit
    Ici, le nom de ce script batch est "base.bat".
    Il va récupérer ce nom et le modifier en remplacant ".bat" par ".sql".
    Le script mysql porte alors le nom suivant : "base.sql".
    C'est une astuce que j'utilise afin d'avoir le même nom entre mon batch et mon script MySql.

    @+
    Si vous êtes de mon aide, vous pouvez cliquer sur .
    Mon site : http://www.jcz.fr

Discussions similaires

  1. insert data into database from selectManyListbox
    Par w_fatima dans le forum NetBeans
    Réponses: 0
    Dernier message: 04/07/2011, 19h32
  2. [AC-2007] ( DoCmd.TransferText ) Export Data from Access to Text File
    Par DevMedi dans le forum VBA Access
    Réponses: 5
    Dernier message: 01/07/2010, 17h52
  3. [SQL-SERVER]Importing data from external sources
    Par poosh dans le forum MS SQL Server
    Réponses: 2
    Dernier message: 20/04/2006, 14h25
  4. insert into from select ?
    Par axel584 dans le forum PostgreSQL
    Réponses: 1
    Dernier message: 25/01/2005, 19h10

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo