[tutoriel] Importer et exporter des données en masse au travers d'une application ASP.Net

Version imprimable

Voir 40 message(s) de cette discussion en une page

22/06/2011, 11h26
Immobilis

Citation:

Envoyé par iberserk

Que ferez vous si d'autres applications développées par d'autres personnes commencent à 'taper' dans votre base et la vérole complétement car ils n'ont pas les mêmes règles métiers embarquées dans LEUR code client?

Je leur propose des services WCF seulement. Ils seront obligés de se soumettre.

Citation:

Envoyé par iberserk

Je vous encourage à lire cela, (bien sûr c'est ici vu d'un oeil de DBA)

Ce papier a été écrit en 2005. Pas mal de choses ont changé.

Citation:

Il faut reporter la logique métier dans les procédures stockées ou les triggers.

Grand débat en perspective a ne pas ouvrir ici :D
22/06/2011, 11h31
Immobilis

Citation:

Envoyé par youtpout978

J'ai une problématique similaire dans le projet sur lequel je travaille, je voulais savoir si le faite de travailler avec des listes ne diminuerai pas le temps d’exécution.

C'est à tester. L'avantage de LINQ dans ce cas et d'utiliser des IQueryable. Donc tu peux tout faire.
22/06/2011, 11h39
Immobilis

Citation:

Envoyé par iberserk

Que ferez vous si

Tu peux me tutoyer ;)
Que feras-tu si on te demande de passer sous Oracle? Grâce au code tu auras juste à transférer les données.
22/06/2011, 11h47
youtpout978

L'application que j'utilise permet l'import et l'export de csv mais c'est très mal fait pour importer 600 ligne ça met + d'une minute.
J'ai déjà une idée de l'optimisation à faire, sur chaque ligne il y a l’exécution d'une soixantaine de requête (je n'imagine même pas le temps que ça mettrait avec des fichiers de 10 000 lignes), pour l'export c'est assez long puisqu'il est nécessaire de faire autant de requête pour chaque ligne.

Il y avait un treeview dans cette même appli qui effectuait une requête chargeant plusieurs centaine d'éléments et elle était effectué à chaque fois qu'on dépliait un noeud et sur chaque élément chargé on effectuait plusieurs requête résultat 50 sec d'attente à chaque fois.
Grâce à l'utilisation des listes je fais une seule fois la grosse requête et je ne fait plus que deux requêtes pour déplier un noeud et c'est en c# que je fait les comparaisons pour construire mes noeuds résultat 3 seconde pour déplier un noeud.
22/06/2011, 11h59
iberserk

Citation:

Que feras-tu si on te demande de passer sous Oracle? Grâce au code tu auras juste à transférer les données.

On me demandera dans ce cas là de réaliser le batch d'import des données... refaire la proc stock me prendra au bas mot 1minute 30...:ccool:

Quoi qu'on veuille bien essayer de nous faire croire, un client vous demandant de migrer de SQL SERVER vers ORACLE... je veux bien prendre le risque.

SQL etant normé, si c'est bien fait le travail n'est pas enorme...

Citation:

Ce papier a été écrit en 2005. Pas mal de choses ont changé.

Je ne trouve pas?

Citation:

Grand débat en perspective a ne pas ouvrir ici

Ca marche:lol:
22/06/2011, 12h03
Immobilis

C'est pas souvent qu'on voit passer des Architectes de base de données sur cette partie du forum. C'est cool :ccool:

J'espère que tu passeras souvent! :D
22/06/2011, 12h07
iberserk

Citation:

C'est pas souvent qu'on voit passer des Architectes de base de données sur cette partie du forum. C'est cool

J'espère que tu passeras souvent!

Ca c'est gentil, mais c'est un plaisir tant qu'on ne bascule pas dans lasempiternelle gueguerre EXPERT.NET/ EXPERT BDD :ccool:

Il faut dire que je viens du .NET à la base donc je connais bien les deux...

Petit test rapide:

Code:

1
2
3
4
5
6
7
8
9
IF EXISTS(SELECT * FROM sys.tables WHERE NAME='TEST')
	DROP TABLE dbo.TEST
GO
CREATE TABLE dbo.TEST
(
	TEST_ID INTEGER NOT NULL CONSTRAINT PK_TEST PRIMARY KEY CLUSTERED,
	TEST_NAME VARCHAR(50) NOT NULL
)
GO

Méthode 'LINQ':

Code:

1
2
3
4
5
6
7
8
9
10
11
INSERT INTO dbo.TEST VALUES (1,'TEST 1')
INSERT INTO dbo.TEST VALUES (2,'TEST 2')
INSERT INTO dbo.TEST VALUES (3,'TEST 3')
INSERT INTO dbo.TEST VALUES (4,'TEST 4')
INSERT INTO dbo.TEST VALUES (5,'TEST 5')
 
UPDATE dbo.TEST SET TEST_NAME=TEST_NAME+CAST(TEST_ID AS VARCHAR) WHERE TEST_ID=1
UPDATE dbo.TEST SET TEST_NAME=TEST_NAME+CAST(TEST_ID AS VARCHAR) WHERE TEST_ID=2
UPDATE dbo.TEST SET TEST_NAME=TEST_NAME+CAST(TEST_ID AS VARCHAR) WHERE TEST_ID=3
UPDATE dbo.TEST SET TEST_NAME=TEST_NAME+CAST(TEST_ID AS VARCHAR) WHERE TEST_ID=4
UPDATE dbo.TEST SET TEST_NAME=TEST_NAME+CAST(TEST_ID AS VARCHAR) WHERE TEST_ID=5

Regardez les plans d'executions... 5 insertions dans l'index, 5 mise à jour...

Méthode ensembliste (recréez la table au préalable...):

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
 
INSERT INTO dbo.TEST 
SELECT 1,'TEST 1'
UNION ALL
SELECT 2,'TEST 2'
UNION ALL
SELECT 2,'TEST 3'
UNION ALL
SELECT 2,'TEST 4'
UNION ALL
SELECT 2,'TEST 5'
 
UPDATE dbo.TEST SET TEST_NAME=TEST_NAME+CAST(TEST_ID AS VARCHAR)

Une insertion dans l'index, une mise à jour...

Bien sûr cet exemple est simpliste...

Voila j'ai modifié ton code d'insertorupdate à ma sauce, je pense que cette méthode n'est pas trop mauvaise quand on insert des fichier de plusieur miliers de ligne mais quand le fichier ne contient que quelque ligne vaut mieux faire un update champs par champs:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
 
  /// <summary>
    /// Insère un objet Person en base ou met à jour un enregistrement existant
    /// </summary>
    /// <param name="persons">Liste d'objet Person</param>
    public static void InsertOrUpdate(IEnumerable<Persons> persons)
    {
 
        using (PersonDataContext db = new PersonDataContext())
        {
            List<Persons> inbase = db.Persons.ToList();
            List<Persons> newPerson = new List<Persons>();
            int nbInBase=inbase.Count;
            foreach (var p in persons)
            {
                 // Si le Guid est vide ou la base est vide
                if (p.PersonId == Guid.Empty || nbInBase == 0)
                {
                    // Si le Guid est vide
                    if (p.PersonId == Guid.Empty)
                    {
                        // On génère un nouvel identifiant
                        p.PersonId = Guid.NewGuid();
 
                    }
                    // On l'ajoute a la liste des insertions
                    newPerson.Add(p);
                }
                else
                {
                    // sinon on recherche s'il est déjà en base
                    if (inbase.Exists(per => per.PersonId == p.PersonId))
                    {
                        // s'il est en base on récupère la personne avec le même id
                        var pInBase = inbase.Single(per => per.PersonId == p.PersonId);
 
                        // si son nom ou son prénom diffère on les change
                        if (!(pInBase.FirstName == p.FirstName && pInBase.LastName == p.LastName))
                        {
                            pInBase.FirstName = p.FirstName;
                            pInBase.LastName = p.LastName;
                        }
                    }
                    else
                    {
                        // s'il n'est pas en base on l'ajoute à la liste des insertions
                        newPerson.Add(p);
                    }
                }
 
            }
 
            // si la liste des insertions n'est pas vide
            if (newPerson.Count > 0)
            {
                // on insère toutes les données en base
                db.Persons.InsertAllOnSubmit(newPerson);
            }
            // on valide les modifications
            db.SubmitChanges();
        }
 
 
    }

Sinon ton code est vraiment efficace au niveau de l'export :ccool:

Par contre dans ton exemple un coup tu as une table Persons et un autre coup c'est Person donc si on copie ton code à l'identique on a des erreurs et il manque la méthode load (même si elle est pas compliqué a codé).

Merci pour l'article ;)

24/06/2011, 17h08
iberserk

Bonjour.

A quoi sert cette partie?:

Citation:

// s'il est en base on récupère la personne avec le même id
var pInBase = inbase.Single(per => per.PersonId == p.PersonId);

// si son nom ou son prénom diffère on les change
if (!(pInBase.FirstName == p.FirstName && pInBase.LastName == p.LastName))
{
pInBase.FirstName = p.FirstName;
pInBase.LastName = p.LastName;
}

Vous faites ce traitement mais vous ne gérez ensuite que les insert?
24/06/2011, 18h33
youtpout978

au submitchanges ils s'occupent tout seul de faire les maj
26/06/2011, 16h03
iberserk

Citation:

au submitchanges ils s'occupent tout seul de faire les maj

Sauf erreur de ma part le tracking intégré à LINQ TO SQL se charge de déterminer les colonnes à mettre à jour, cette vérification n'est pas nécessaire...
26/06/2011, 16h53
youtpout978

le submitchanges est nécessaire pour apporter les modification en base sinon la modification n'est effective qu'en mémoire
http://msdn.microsoft.com/fr-fr/library/bb399378.aspx
27/06/2011, 08h56
iberserk

Citation:

e submitchanges est nécessaire pour apporter les modification en base sinon la modification n'est effective qu'en mémoire
http://msdn.microsoft.com/fr-fr/library/bb399378.aspx

Je neparle pas du submit changes mais du test que vous faites pour savoir si les données ont changées...

C'est cette partie qui s'occupe de faire les mise à jour :
Code:

1 2 3 4 5 6 7 8 9 // s'il est en base on récupère la personne avec le même id var pInBase = inbase.Single(per => per.PersonId == p.PersonId); // si son nom ou son prénom diffère on les change if (!(pInBase.FirstName == p.FirstName && pInBase.LastName == p.LastName)) { pInBase.FirstName = p.FirstName; pInBase.LastName = p.LastName; }
en récupérant ma liste

Code:

List<Persons> inbase = db.Persons.ToList();

dans le datacontext courant

Code:

using (PersonDataContext db = new PersonDataContext())

et en effectuant une modification sur ces données linq comprendra que c'est ses données qui ont été modifiées

27/06/2011, 09h35
iberserk

Je vous ai bien compris, ce que je veux dire c'est que ca:

Citation:

if (!(pInBase.FirstName == p.FirstName && pInBase.LastName == p.LastName))

Est pour moi inutile... enlevez ce test et si il n'y a aucune modif, le context ne fera pas d'UPDATE...

d'accord merci j'avais peur que de faire ça fasse perdre du temps mais si ça modifie rien bein tant mieux :ccool:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
 
  /// <summary>
    /// Insère un objet Person en base ou met à jour un enregistrement existant
    /// </summary>
    /// <param name="persons">Liste d'objet Person</param>
    public static void InsertOrUpdate(IEnumerable<Persons> persons)
    {
 
        using (PersonDataContext db = new PersonDataContext())
        {
            List<Persons> inbase = db.Persons.ToList();
            List<Persons> newPerson = new List<Persons>();
            int nbInBase=inbase.Count;
            foreach (var p in persons)
            {
                 // Si le Guid est vide ou la base est vide
                if (p.PersonId == Guid.Empty || nbInBase == 0)
                {
                    // Si le Guid est vide
                    if (p.PersonId == Guid.Empty)
                    {
                        // On génère un nouvel identifiant
                        p.PersonId = Guid.NewGuid();
 
                    }
                    // On l'ajoute a la liste des insertions
                    newPerson.Add(p);
                }
                else
                {
                    // sinon on recherche s'il est déjà en base
                    if (inbase.Exists(per => per.PersonId == p.PersonId))
                    {
                        // s'il est en base on récupère la personne avec le même id
                        var pInBase = inbase.Single(per => per.PersonId == p.PersonId);
 
                            pInBase.FirstName = p.FirstName;
                            pInBase.LastName = p.LastName;
 
                    }
                    else
                    {
                        // s'il n'est pas en base on l'ajoute à la liste des insertions
                        newPerson.Add(p);
                    }
                }
 
            }
 
            // si la liste des insertions n'est pas vide
            if (newPerson.Count > 0)
            {
                // on insère toutes les données en base
                db.Persons.InsertAllOnSubmit(newPerson);
            }
            // on valide les modifications
            db.SubmitChanges();
        }
 
 
    }

29/06/2011, 22h13
iberserk
youtpout978, quel est le contexte de votre batch?

Un fichier CSV?

Sachez qu'une procédure stockée faisant un BULKINSERT (bulkinsert permet de charger en masse un fichier plat dans une table) de votre fichier CSV dans une table de travail puis deux requêtes:
Code:

1 2 3 4 5 6 7 8 UPDATE C SET C.firstName=T.firstName, C.lastName=T.lastname FROM customer C INNER JOIN TABLETRAVAIL T ON T.ID=C.ID WHERE C.firstname<>T.firstname OR C.lastname<>T.lastname
Pour mettre a jour tous les customers existants d'un coups
Puis

Code:

INSERT INTO customer(firstname,lastname) SELECT firstname,lastname FROM TABLETRAVAIL T WHERE NOT EXISTS(SELECT * FROM customer WHERE id=T.id)

pour insérer les nouveaux customer

Prendrait au bas mots 1 secondes? peut être deux?...

Le bulk insert:

http://msdn.microsoft.com/fr-fr/library/ms188365.aspx
29/06/2011, 22h26
youtpout978

là c'était juste pour améliorer le code de de son exemple, l'appli que j'utilise est tellement bien faite que tu deviendrais aveugle en voyant l'application et la base :aie:
30/06/2011, 09h07
iberserk

A ok pardon :ccool:

Voir 40 message(s) de cette discussion en une page