Discussion :

[KyoshiroKensei]

Bonjour,

Dans le cadre d'un projet, je dois récupérer des données situées sur une base Posgres SQL pour les stocker après transformation dans une base SQL SERVER.

A l'aide d'un driver ODBC, j'exécute des requêtes depuis SQL SERVER 2005 pour récupérer les données sur Posgres. Sans surprise je constate d'énorme lenteur d'accès. Dans la mesure ou je ne peux pas passer en full posgres ou full sql server, que puis je faire pour améliorer le temps des requêtes?

Je précise que les requêtes exécutés directement sur posgres répondent immédiatement, les écritures sur sql serveur sont faites rapidement. La requête en question doit extraire 25K de lignes dans des tables de quelques millions de lignes.

Merci d'avance.

[escartefigue]

Bonjour,

Désolé, je ne sais pas répondre à cette question (sauf à demander de publier les requêtes et le DDL des tables, pour vérifier si ces requêtes sont sargables), mais je m'interroge sur la pertinence de charger une base SQL server 2005 complètement périmée.

Voir le cycle de vie des versions SQL server ICI

[KyoshiroKensei]

Nul n'est prophète en son pays. J'ai beau signaler l'urgence de ce problème, les décideurs ne voient pas le problème (tant que ça marche pourquoi changer blablabla...).

[KyoshiroKensei]

La requête en question:

Les tables T1à t3 sont des table situées sur posgres La requete est joué depuis sql server. Une source ODBC utilisant le driver posgres a été créée et montée dans les serveurs liés sql.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
SELECT T1.ID, T2.Valeur, T3.Position
FROM Table T1
JOIN Table T2 ON T2.ID= T1.ID
JOIN Table T3 ON T3.ID = T2.ID
WHERE T1.ORDER_ID  = 3

En fait le fond du problème est que lorsque je lance

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM Table T1 WHERE T1.ORDER_ID  = 3

, la requête distante envoyées par sql est bien la même.
Pourtant coté Posgres, la requête jouée est

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT * FROM Table T1

.

Ce qui signifie quelque chose , sans doute la source odbc, interprète la requête et la modifie.
Problème, avec le filtre, 25K lignes, sans le filtres 3 millions de ligne. Je cherche donc un moyen de faire jouer mes requêtes telles que écrite.

[SQLpro]

Lorsque vous faites une requête avec un serveur lié, entre deux systèmes différents, il faut faire transiter les données d'un serveur (ici PostGreSQL) à l'autre. Cela s'appelle un REMOTE JOIN. Aucune clé, aucun index ne peut être utilisé. Les données de la table PG sont copiées manière brute vers SQL Server et ce dernier créé une table pour les recevoir... Une fois que toutes les lignes en transit ont été copiées, SQL Server peut procéder à la requête, mais sans clé, sans index, elle restera toujours lente.

Si vous voulez des performances ce n'est pas comme cela qu'il faut faire. Parmi les solutions intéressantes à tester, le recours à SSIS qui est l'ETL le plus performant du monde actuellement.

Pour information, la version 2005 est obsolète et non supportée depuis plus de 10 ans !

A +

[KyoshiroKensei]

Bonjour,

merci, cela confirme ce que je pensais.

Tout comme SQL 2005, je ne suis pas décisionnaire des choix techniques et/ou version SQL. Je n'en subit que les conséquences, malgré mes remarques...


Merci à tous.