Version imprimable
Chers membres du club,
J'ai le plaisir de vous présenter cet article :
Bonne lecture ;)Citation:
Ce premier papier parle de quelques comparaisons entre PostGreSQL et SQL Server et pointe les différences en termes de performances pour quelques-unes des requêtes et commandes administratives qu’un DBA ordinaire doit exécuter.
:fleche: Retrouvez les meilleurs cours et tutoriels pour apprendre les SGBD et SQL
.
Bonjour,
Merci pour cette analyse.
Pour commencer, je n’ai pas réussi à télécharger les requêtes mentionnées au point IX : le premier lien en 1drv.ms me demande un mot de passe, le second interne à developper.com me demande d’être connecté alors que je le suis déjà.
J’essaie de comprendre ce que je pourrais en déduire quant aux choix des futures bases de données de mes projets, et à cet effet j’aurais quelques questions. Je précise que je fais du devops mais ne suis pas DBA professionnel, ce qui pourrait expliquer quelques naïvetés dans mes questions.
- Il me semble que PostgreSQL est plutôt utilisé sous Linux que sous Windows. Ne serait-il pas plus pertinent de comparer les deux SGBD sur leurs OS de prédilection ?
- Qu’est-ce qui justifie d’avoir une configuration spécifique pour PostgreSQL mais pas pour SQL Server ?
- Serait-il possible de savoir ce qui a guidé le choix des valeurs de configuration pour PostgreSQL (dans la logique plus que dans le détail)
- Je vois que PostgreSQL a un encodage en UTF8 mais une collation et un type de caractères qui me semble être liée à Windows (1252), ça ne pose pas de problèmes ?
- Je ne comprends pas la pertinence de l’argument suivant : « Nous avons dû créer une collation pour PostGreSQL pour la deuxième table, car PostGreSQL possède très peu de collations internes contrairement à SQL Server qui en a plus de 5500. », puisque PostgreSQL gère nativement à peu près toutes les collations possibles en utilisant les collations ICU tel que défini aux chapitre 23.2.2.2 et 23.2.2.3 de la documentation – ce qui rends sa quantité de collations virtuellement infinie, ce qui est plus que les 5500 internes à SQL Server.
- Vous donnez des moyennes mais aucune autre information, en particulier pas l’écart-type des mesures. Est-ce que les mesures sont stables ou est-ce que les temps trouvés peuvent varier d’un gros facteur (ce qui pourrait changer la conclusion) ?
Et surtout, je ne vois aucune tentative d’analyse de l’écart.
Pourtant, ce que vous montrez là est intéressant : il semblerait que MS SQL soit sensiblement plus performant que PostgreSQL, mais sans que l’on sache quelle est la cause de cet écart. Pourtant un facteur 20 ou 30 est quelque chose d’assez énorme qui mériterait de s’y intéresser : est-ce dû aux SGBD eux-mêmes ? À un défaut de configuration ? Quels sont les facteurs limitants dans les deux cas (limitation par le CPU, mauvaise parallélisation par le SGBD, limitation par les I/O, par la bande passante mémoire, de la collation spécifique PostgreSQL…). En particulier on ne sait pas sur quel type de disques sont stockées les données, si ce sont des disques durs, l’écart est-il le même avec des SSD ? Etc.
C’est dommage que votre article se soit arrêté aux chiffres bruts, sans aucune analyse ni aucune recherche de détail. En l’état, il est difficile d’en tirer quoi que ce soit de probant, et il me donne plutôt l’impression que vous vous êtes arrêté dès que vous avez obtenu des chiffres qui montrent que SQL Server est plus rapide que PostgreSQL. J’espère me tromper et que votre réponse me montrera que vous étiez de bonne foi en créant ce test. Cela me semble d’autant plus important que, puisque vous êtes « Microsoft® Most Valuable Professional », on pourrait vite croire que vous êtes là plus pour vendre les solutions de Microsoft – à qui vous êtes affiliés – que pour faire des tests neutres et impartiaux.
Enfin je me permet de signaler une erreur récurrente, la typographie nominale est « PostgreSQL » et non « PostGreSQL » (le g central n’est pas en majuscule).
Bonjour,
J'assume parfaitement ce qui vous apparait comme une erreur typographique et qui est ma signature de tout temps au sujet de PostGreSQL. Sachez que les noms n'ont pas d'orthographe précise et que PostGreSQL n'est visiblement pas une "trademark". On n'est donc pas obligé de respecter la typologie de la communauté (ou serait donc la liberté si on me l'imposait comme semble vouloir me le faire remarquer les intégristes de PG...). De plus PostGreSQL c'est la suite de InGreSQL (notez là aussi le G majuscule, que je n'utilise en principe jamais pour Ingres....) un simple jeu de mot ayant guidé le choix de PostGreSQL à l'origine PostGres (sans le SQL) qui signifie après "gres" alors qu'avant c'était dans "gres". C'est là sans doute mon aspect vieux con qui après 34 ans passé dans les SGBDR m'en a fait connaître l'histoire et les principaux (DB2, Oracle, Sybase SQL Server, Watcom, RDB, Gupta SQL, Informix, InterBase et bien d'autres....) pour ne plus me consacrer qu'à quelques uns (MS SQL Server, Oracle, PostGreSQL...).Citation:
Envoyé par RenardSpatial
Ne pas oublier le pourquoi du "Ingres"... C'est tout simplement lié à la naissance du free... En effet, Eugene Wong et Michael Stonebraker ont démarré le développement de Ingres à temps perdu (perruque) et dont décidé de la baptisé du nom d'Ingres à cause de son violon...
Je viens de réinitialiser le lien OneDrive, mais je ne puis tester :Citation:
Envoyé par RenardSpatial
https://1drv.ms/u/s!AqvZfiQYoNpBihI4...hRZec?e=nwpcaM
Pour DVP je n'y suis pour rien, je vois avec les responsables...
Cela n'aurait pas fait de remarquables différences l'écart étant déjà très important et SQL Server marchant un peu mieux (de l'ordre de 5 à 8 %) sous Linux.... Et il me semble qu'il y a pas mal de PG sous Windows...Citation:
Envoyé par RenardSpatial
PG est réglé lors de son installation avec des paramètres qui sous-utilisent les ressources. Les laisser tels quelle pour faire les tests aurait sévèrement handicapé PostGreSQL. SQL Server, est auto paramétré. D'une part lors de son installation avec les valeurs par défaut, d'autre part dynamiquement dans son exploitation. En particulier dans les toutes dernières versions, aucun réglage n'est strictement nécessaire pour les performances, sauf le paramétrage du "optimize for adhoc workload" qu'il aurait été judicieux d'activer pour économiser du cache pour les requêtes unitaires. Mais avec 128 Go de RAM, c'était parfaitement inutile.Citation:
Envoyé par RenardSpatial
Mon expérience et les documents de référence suivant :Citation:
Envoyé par RenardSpatial
https://wiki.postgresql.org/wiki/Tun...tgreSQL_Server
https://pgtune.leopard.in.ua/#/
...
Pour des requêtes de DBA, n'importe quel type de données et n'importe quel collation aurait permis la comparaison. Charge à vous de prouver le contraire, raison pour laquelle j'ai laissé les fichiers et les requêtes en libre disposition...Citation:
Envoyé par RenardSpatial
Oui, mais il faut les créer. Cette étape n'existe pas dans SQL Server qui les gèrent directement. De plus les collations ICU sont inexploitable comme le montre cet article car buguées...Citation:
Envoyé par RenardSpatial
À part une seule requête pour laquelle il y a eut un écart important pour PostGreSQL, la variance est très ramassée. Je ne me souviens plus de laquelle, mais je pourrais la retrouver. Mais elle n'était pas significative dans la comparaison finale, raison pour laquelle je ne l'ai pas mentionnée dans l'article.Citation:
Envoyé par RenardSpatial
Ces opérations sont à 95% des opérations logiques ayant très peu d'IO physiques. L'influence des disques est donc très peu significative et utiliser tel ou tel type de stockage n'aurait pas montré de différence.Citation:
Envoyé par RenardSpatial
Défaut de configuration, à moins que je n'ai fait une grossière erreur pour PG, je ne voit pas... (pour info j'ai mis parallel_workers à 48 mais aucune requête ne m'a montré un plan parallélisé)
Bande passante, c'est le même PC...
Ce qui est clair c'est que le parallélisme intervient pour la part la plus importante dans cette différence de performances. Depuis la version 7 datant de 1998 (22 ans donc), SQL Server fait du parallélisme massivement et de manière automatique dans toutes ses tâches, pas uniquement pour les requêtes (aucun réglage particulier à entreprendre). Les tris et donc les créations d'index sont parallélisés et peuvent utiliser tous les cœurs soit 48 dans notre test. Alors que PostGreSQL semble n'utiliser qu'un seul thread... De plus, même en paramétrant PG pour utiliser 48 cœurs, celui-ci m'a montré qu'il n'en utilisait jamais plus que 4 qui semble être actuellement une limite interne par conception...
Enfin, la R&D de Microsoft a réalisé des algorithmes internes qui semble plus efficace que ceux bien connus que l'on trouve dans la littérature des SGBDR. Ce qui explique d'autres différences... Ce sont les petits secrets jalousement gardé par les grand éditeurs de SGBDR ! Mais rassurez-vous, certains experts de MS en matière de développement de moteurs de bases de données travaillent aussi pour la version free de PostGreSQL ! (Core team : Andres Freund, Major contributor : David Rowley...)
La bonne fois, la mauvaise foi... Tout est question d’appréciation. Moi je me contente de faits. Je les rends reproductible à tout un chacun, qui peut les analyser plus en profondeur, les disséquer et en publier une analyse. mais une analyse vaut ce qu'elle vaut : c'est un point de vue d'après des faits !Citation:
Envoyé par RenardSpatial
Cependant ce forum est là pour effectivement compléter efficacement et intelligemment l'article que j'ai écrit... Et vos questions sont intéressantes !
A +
Salut,
:fleche: Je confirme que le lien de téléchargement interne est fonctionnel. Je vous le remet ici.Citation:
Envoyé par SQLpro
:merci:
Salut,
Suite à cet article, je me demandais pourquoi il n'y avait pas plus de benchmark MS SQL Server vs ... et en cherchant un peu, je suis tombé sur ça :
sur le site de microsoft (https://www.microsoft.com/licensing/...Software/EAEAS).Citation:
Benchmark Testing
Customer must obtain Microsoft’s prior written approval to disclose to a third party the results of any benchmark test of any Server Product or Microsoft Desktop Optimization Pack.
Étonnant, non ?
delphi avait une politique semblabe......Citation:
Envoyé par Grulim
ces entreprises aiment pas trop que leur produit soit affiché en mauvaise posture...
On a déjà discuté de cela à maintes reprises sur les forums... Ce genre de clause est en standard dans tous les contrats, mais n'a en fait qu'une valeur juridique très limitée, car les droits de l'homme qui sont une Loi suprême accordent la liberté d'expression de tout un chacun. Il est dommage que vous ne connaissiez pas les droits de l'homme et leur valeur juridique. C'est très intéressant et très important... notamment tout ce qui parle de liberté d'expression. Je vous renvoi a cet article qui en fait le point avec ses limites :Citation:
Envoyé par Grulim
https://justice.ooreka.fr/astuce/voi...ue%20ce%20soit.
Autrement dit on est parfaitement libre de faire ce genre de benchmark, à condition d'être loyal et pas dans le dénigrement !
Et je remarque que c'est le genre d'arguments que me sortent systématiquement les ayatollah du libre pour me mettre en garde de na pas publier mes benchmarks.......
Pourtant, ni le GIGN, ni le SWAT, ni le RAID ni la gendarmerie et même pas la police municipale ne sont venue me trouver chez moi pour me placer en prison sous prétexte d'un benchmark illicite....
Et comme j'en ai publié pas mal...
2011 : https://blog.developpez.com/sqlpro/p...alles_en_sql_1
2017 : https://g-ernaelsten.developpez.com/...-performances/
et aussi en 2016 : https://blog.developpez.com/sqlpro/p...omment-biaiser
Comme d'autres l'on fait, par exemple Stéphane Faroult dans ses livres "The Art of SQL" et "Refactoring SQL Applications"...
Mais peut être, personnellement, avez vous peur, êtes vous terrorisé, à la simple idée de vous servir de vos droits d'expression et publier de tels benchmarks ?
A +
Bonsoir,
Je ne sais pas si la réponse de SQL-Pro s'adresse à moi, mais si c'est le cas, mon message n'avait pas pour but de vous discréditer ou de diminuer la valeur votre benchmark.
Je me suis juste étonné du manque de comparatifs chiffrés des performances entre les différents SGBD, et je trouve ça dommage.
Pour revenir sur MSSQL, le seul site important que je connaisse et que j'utilise est stackoverflow, preuve s'il en est que MSSQL peut être (très) performant. Il faut dire aussi que ce site emploie des pointures comme Marc Gravell.
Cordialement.
PS
Citation:
Et je remarque que c'est le genre d'arguments que me sortent systématiquement les ayatollah du libre pour me mettre en garde de na pas publier mes benchmarks.......
Citation:
Pourtant, ni le GIGN, ni le SWAT, ni le RAID ni la gendarmerie et même pas la police municipale ne sont venue me trouvé chez moi pour me placer en prison sous prétexte d'un benchmark illicite....
Je trouve ce genre de remarques déplacées, un peu too much, peut-on s'en tenir aux faits et discuter de manière plus constructive ?Citation:
Mais peut être, personnellement, avez vous peur, êtes vous terrorisé, à la simple idée de vous servir de vos droits d'expression et publier de tels benchmarks ?
Bonjour,
Comme l'auteur de ce bench ne daigne pas en parler ici de ce qu'il ressort sur le forum postgresql.fr, je mets un lien vers la "discussion": https://forums.postgresql.fr/viewtopic.php?id=5931.
Outre le fait que PostgreSQL s'en sorte mieux sous Linux, le benchmark réalisé par SqlPro démontre encore une fois sa mauvaise connaissance de PostgreSQL : REINDEX inutile après VACUUM FULL, paramétrage pas optimal sur les opérations de maintenance (maintenance_work_mem, maintenance_parallel_worker), et quand un résultat ne lui convient pas, c'est qu'on n'a pas bien fait le test.
Enfin, à l'attention toute spéciale de SqlPro (ben quoi, je peux l'écrire comme ça, il n'y a pas de trademark), la lecture de cette page va s'avérer très intéressante : https://www.postgresql.org/about/policies/trademarks/.
Vous avez l'air étonné ? N'avez-vous jamais lu les commentaires de SQLPro ?Citation:
Envoyé par Grulim
Excusez moi d'intervenir, mais vous postez sur PostGreSQL alors que l'article original est sur le site de developpez.com avec une entrée de forum qui lui est associé... C'est donc vous qui ne respectez pas les usages, et je trouve assez navrant que vous m'en fassiez porter le chapeau...Citation:
Envoyé par frost242
Encore une fois, vous affirmez
Sans avoir jamais démontré ce fait... Ni sur l'enfilade que vous avez suscité sur les forums PostGreSQL ni dans le présent forum. Lorsque l'on affirme quelques chose d'aussi important on le prouve.Citation:
Envoyé par frost242
Moi par exemple j'ai fait l'effort de démontrer que SQL Server sous Linux marchait un peu mieux (pas de beaucoup) sous Linux que sous Windows, avec des machines physiques strictement identiques.
Lisez les tests que nous avons fait avec mon collègue Arian papillon
https://blog.developpez.com/sqlpro/p...nux-vs-windows
Qui est donc de mauvaise foi ?
Vous affirmez encore aussi :
Je vous ai répondu que rien dans la doc n'indiquait cela et qu'il fallait les deux pour être équivalent à la même commande dans SQL Server, parce que les statistiques doivent aussi être recalculées...Citation:
... encore une fois sa mauvaise connaissance de PostgreSQL : REINDEX inutile après VACUUM FULL,
Et j'ai tendance à croire plus la doc officielle de PostGreSQL que vous...
Ce que j'ai mentionné dans ma réponse à votre post :
https://forums.postgresql.fr/viewtop...d=31978#p31978
Que je recopie de peur d'être censuré
"
Cependant... VACUUM FULL ne fait pas la même chose que REINDEX TABLE... ou alors c'est que la doc est catastrophique dans ses explications...
En effet, VACUUM FULL ne fait que retirer les lignes fantômes, tandis que REINDEX répare la fragmentation.
1) Nulle part il n'est fait mention de la défragmentation d'index (appelés "bloat" dans PostGreSQL) dans la doc du VACUUM.
2) nulle part il n'est fait mention de la suppression des lignes fantômes (appelées "dead tuples" dans PostGreSQL) dans la doc de REINDEX
Je persiste donc à dire qu'il faut faire les deux ! Et que cela correspond exactement au ALTER TABLE ... REBUILD / ALTER INDEX ALL ... REBUILD de SQL Server qui reconstruit la table, ses index et recalcule les statistiques.
"
Vous m'attaquez ensuite parce que j'aurais fait un mauvais paramétrage....
Je suis loin d'être parfait j'en convient.... Mais lorsque l'on tente de donner des leçons il faut aussi être irréprochable.... On sait très peu de choses sur le paramétrage de votre instance SQL Server et certains réglages sont mauvais (dimensionnement du stockage, parallélisme...). Je vous l'ai dit dans les différents posts sur le forum PG en réponse à vos commentaires... En particulier un parallélisme de 8 est quelque peu différent d'un parallélisme de 48 !Citation:
paramétrage pas optimal sur les opérations de maintenance (maintenance_work_mem, maintenance_parallel_worker), et quand un résultat ne lui convient pas, c'est qu'on n'a pas bien fait le test.
Très intéressant, mais a aucun moment il n'est fait référence à la notion de case dans le nom de PostGreSQL !Citation:
Envoyé par frost242
Maintenant je note dans votre post sur le forum postgresql.fr du 5/2/21 19h05 (je vous cite) :
Donc, je ne voit pas l'intérêt de polémiquer et surtout de vous répondre si cela ne vous intéresse pas et je ne comprends pas le masochisme que vous avez à ergoter sur des détails, si vous vous en foutez !Citation:
Sur la notion de bench "SQL-Server vs PG-SQL" ça ne m'intéresse pas.
A +
Pas directement.... mais vous soulevez un argument que les intégristes du libre m'envoie dans la gueule systématiquement afin d'essayer de discréditer...Citation:
Envoyé par Grulim
J'en ai fait pas mal ! Voir mon blog, tapez benchmarkCitation:
Envoyé par Grulim
Et il y a ceux officiels de l'organisme TPC dans lequel PostGreSQL n'a jamais daigné publier...
Notamment TCP.C (obsolète mais maintenu pour Oracle) et TPC.E (actuel)
et stackexchange, serverfault (en fait 176 sites...)Citation:
Envoyé par Grulim
Mais vous en connaissez sans doute beaucoup d'autres comme :
- CDiscount
- fnac.com
- veepe (anciennement vente privées)
- ...
A +
Ce n'est pas moi qui ait écrit cela, relisez un peu. En quoi qu'il en soit, ce qui ne m'intéresse pas, c'est de polémiquer avec vous. C'est votre spécialité, vous adorez ça et perdre votre temps là-dessus. Moi non, j'ai donné ce lien ici pour que les participants de ce forum puissent se rendre compte de la différence des temps de réponse de votre test, mais cette fois sous Linux.Citation:
Envoyé par SQLpro
Bonjour Frédéric et merci pour cette étude certainement utile.
quelques points à ajuster (ce n'est pas la critique)
- Postgres sous Windows n'est pas considéré comme SGBD de production. En effet l’implémentation sous Windows est loin d'être optimale selon les développeurs qui préfèrent ce concentrer sur Linux
- les fonctionnalités de Postgres sont en retard de 15 ans environ par rapport de SQL Server
- l'optimiseur Postgres est toujours loin d'être parfait (c'est normale car ça coûte chère le moteur, des centaines et des milliers des homme-ans), il y a plusieurs exemples sur Internet. Par exemple, la prédiction sur les requêtes avec plusieurs JOINs est pourrie. Pas de stats automatiques. Perso, j'ai rencontré des situations quand la même requête sur les tables correctement indexées sous Postgres a été moins performante que celle de SQL Server sur les tables "heap" n'ayant aucun indexation !
- l'index cluster Postgres (pas celui read-only), t'es où...
- case insensitive/accent insesitive - l'implementation est toujours avec UPPER
- pas de requêtes entre databases
- la parallélisation de plans d’exécutions a débuté réellement dans v.12; il y a plusieurs limitations (c'est noté dans le doc Postgres)
- le support multi-SGDB coté application: Postgres produit de souci sur rien, i.e. concaténation de valeurs varchar(2) et varchar(3) produit "text" à la place de varchar(5); il faut caster explicitement les valeurs "money" pour les comparer avec des constant de type integer et encore plusieurs trucs de ce genre
- les outils de profiling par rapport de SQL Server sont très basiques (principalement, l'étude de logs), même chose pour pgAdmin vs SSMS
- le backup/restore et l'export/import sont les mêmes notions pour Postgres ! La "sauvegarde" (SQL dump custom format) d'une BDD Postgres de 100 Go sur le serveur puissante prend presque 1/2 heure contre 2-3 minutes pour SQL Server (format binaire interne)!
- encore plusieurs points qui requis sans doute une article pour décrire
Bref, les avantages Postgres sont la "gratuité" (mais pour le support et la migration continue il faut payer aux distributeurs souvent encore plus que à Microsoft/partners) et le "job security"
Bonne continuation
Bonjour,
Cette extension devrait vous intéresser : "postgres_fdw". Mais en effet, cela n'est pas possible sans passer par une extension et ne le sera jamais par un autre biais.Citation:
Envoyé par Serguei_TARASSOV
Avez-vous testé "PoWA" ?Citation:
Envoyé par Serguei_TARASSOV
Cordialement
Rebonjour,
Je reprends à tête reposée les points que j'ai laissé passé vendredi.
Très juste.Citation:
Envoyé par Serguei_TARASSOV
C'est possible, à condition de jouer avec de nouvelles collations.Citation:
Envoyé par Serguei_TARASSOV
Vous ne maîtrisez pas bien le sujet côté Postgres. Il y a 3 façons de faire des sauvegardes et de restaurer : export/import; sauvegarde à froid (aucun intérêt de nos jours); sauvegarde PITR à chaud + restore PITR. Voyez par exemple l'outil pg_basebackup fournit avec PostgreSQL. Vous avez des outils plus avancés pour gérer les sauvegardes et restauration PITR: pg_backrest, pg_probackup, pitrery, etc.Citation:
Envoyé par Serguei_TARASSOV
Vous avez parfaitement raison et c'est ce que je me tue à démontrer et qui a causé des dégâts dans certaines boites... Croire que PostGreSQL est aussi bon que SQL Server est une vaste fumisterie tant ses bugs et errement fonctionnels sont nombreux. Vous parliez des transtypages, mais il y a pire. J'en reparlerais dans le chapitre 3 de mes papiers comparatifs entre SQL Server et PostGreSQL.Citation:
Envoyé par Serguei_TARASSOV
Curieusement, vous dites:
Ce qui semble vrai pour les développeurs accros de Linux est beaucoup moins vrai dans l'entreprise. Dans les grandes entreprises on voit souvent du PostGreSQL sous Windows, lorsque le SI vient plus du monde Microsoft que du monde "free"...Citation:
Postgres sous Windows n'est pas considéré comme SGBD de production. En effet l’implémentation sous Windows est loin d'être optimale selon les développeurs qui préfèrent ce concentrer sur Linux
Et effectivement, dès que l'on veut du service ça coute très cher vu la pauvreté des outils comparés à SQL Server.... Il faut tout faire à la main dans PostGreSQL dès que l'on veut investiguer quand quelque chose marche mal.
A +
Les nouvelles collations ICU sont buguées et ne permettent pas de faire du LIKE par exemple.... Imaginez de devoir récrire votre appli parce que les recherches avec LIKE pètent avec un message :Citation:
Envoyé par frost242
ERROR: nondeterministic collations are not supported for LIKE
Je n'ai jamais compris ce qu'une collation non déterministe peut vouloir dire étant donné qu'une collation est une surjection au sens mathématique du terme !
Sans parler des corruption d'index engendrées par les collations "normales" :
https://www.cybertec-postgresql.com/...ta-corruption/
Bref, les collations dans PostGreSQL c'est la peste ou le choléra !
Mais toujours pas de sauvegardes binaires comme le fait SQL Server, ce qui permet d'aller très très vite !Citation:
Vous ne maîtrisez pas bien le sujet côté Postgres. Il y a 3 façons de faire des sauvegardes et de restaurer : export/import; sauvegarde à froid (aucun intérêt de nos jours); sauvegarde PITR à chaud + restore PITR. Voyez par exemple l'outil pg_basebackup fournit avec PostgreSQL. Vous avez des outils plus avancés pour gérer les sauvegardes et restauration PITR: pg_backrest, pg_probackup, pitrery, etc.
A +
Vous avez donné 1/ encore fois les noms d'extensions (pour la fonctionnalité "core") 2/ qui utilisent toujours le dump SQLCitation:
Envoyé par frost242
Les fonctions backup/restore doivent imperativement faire la partie de SGBD même "in box".
Apart du temps long des opérations, les outils standard pg_dump/pg_restore requis la MAJ de statistique après la restauration ! J'ai vu cela il y a 25 ans en SQL Server 6.x, pas serieux en 2021.
pg_basebackup ne concerne que le cluster - encore fois une outil specifique qui fait la fonctionnalité de base ! La philosophie de microoutils UNIX n'est pas toujours bien pour tous les autres types de logiciels, surtout s'il doit être bien intégré.
Ce "design évolutif" est normal pour le bazar de dév en open source. Mais c'est à vous d'en debrouiller "gratuitement".
Question est-ce que les updates dans Postgres sont toujours aussi naze ? Il n'y a pas si longtemps un update copiait, supprimait et recréait une nouvelle ligne, est-ce toujours le cas ?
Je suis d'accord avec vous ICU est une vraie daube, tout comme les données concernant les fuseaux horaires et d'autres trucs absolument inadmissible sous linux.Citation:
Envoyé par SQLpro
Bonjour Frédéric,
Un détail dans ton article : La dernière colonne du tableau de comparaison présente "ratio (MS/PG)" alors que les chiffres donnés sont en fait un "ratio (PG/MS)".
https://www.cybertec-postgresql.com/...in-postgresql/Citation:
Envoyé par redcurve
Citation:
Envoyé par redcurve
Dans l'article il est bien expliqué que cette méthode est utilisée pour assurer l'isolation des transactions: les transactions ouvertes avant l'update continuent de voir l'ancienne ligne.Citation:
Envoyé par marc.collin
Alors puisque vous trouvez cette méthode "naze", auriez-vous un lien vers une "bonne" méthode pour faire des update sans remettre en cause l'isolation des transactions (et une méthode n'obligeant pas à verrouiller la ligne, puisque dans l'article, l'utilisateur de la session 1 n'avait pas posé de verrou)?
Oui, et ça le restera longtemps.... C'est lié à la conception même de PostGreSQL et de son fameux (je devrait dire "fumeux") MVCC....Citation:
Envoyé par redcurve
Le MVCC (Multi Version Concurrency Control) assure le versionnement des lignes rendu nécessaire par le verrouillage optimiste.
Un verrou optimiste est le fait de conserver l'ancienne version de la ligne tout en créant une nouvelle jusqu'au moment ou la nouvelle soit confirmée par un COMMIT, auquel cas on peut se passer de l'ancienne si tous les autres transactions n'y accèdent plus. C'est comme cela que fonctionne aussi Oracle.
Oui, heureusement, tous les SGBDR ne sont pas aussi mal conçus à ce niveau en commençant par Oracle qui est le modèle que tente de copier, hélas très mal, PostGreSQL...Citation:
Envoyé par esperanto
Voici ce que je dit dans le papier n° 3 de cette série :
"
Finally, the technical solution chosen for the MVCC of PostGreSQL (for duplicating rows) is the worst of all the RDBMS...
- in Oracle, the transaction log (undo part exactly) is used to reads the formerly rows. No more data are generated for this feature, but the remaining part of the transaction logs can growth up if a transaction runs a long time;
- In SQL Server the tempdb database is used to keep the row versions. Some more data, out of the production database is generated and quickly collected (garbage's) to liberate space. The tempdb system database has a particular behavior to perform this work. Recently (2019) SQL Server add the ADR/PVS mechanism to accelerate recovery and when this feature is activate, the row versions can be stored in specific storage relative to the database.
- In PostGreSQL, all the different versions of the table rows are kept inside the data pages of the table and reside in memory, when data are caching, then is written on disks, causes table bloats, until a mechanism call VACUUM proceed to sweep of the obsolete rows.
"
Un peu plus loin
"
The PG MVCC solution is the worst way to do it, because it has three major inconvenient:
- First, the table is naturally bloating, and this "bloattage" is increasing severely when the number of concurrent transactional operation is high...
- Second, because that pages are the minimal logical memory storage, the data cache (table and index's pages containing rows are pin in memory to reduce IO disk access) is filled with plenty of obsolete rows, this results in the cache memory being replete with a lot of unnecessary data, pushing out a lot of data actually used.
- Third, you need to use the terrific VACUUM tool, that locks a lot and causes some deadlock crashes to clean up the memory and remove the rows no longer needed.
"
Ce qui revient effectivement à créer de multiples lignes pour les UPDATE, à l'intérieur même des lignes de la table, et non modifier les lignes existante, contrairement à ce que fait Oracle ou SQL Server en la matière !
A +
Ou n'importe quel autre SGBD me semble-t-il, PG est bien le seul à utiliser cette étrange stratégie non ?Citation:
Envoyé par SQLpro
Bonjour,
Est-il prévu un comparatif de performances de commandes entre SQL Server Et Oracle ?
Merci
Non...Citation:
Envoyé par DarkVenoM
Ce que nous savons d'après les tests officiels sur le transactionnel est, que, aujourd'hui, Oracle est largué au niveau des performances à tous niveaux (lectures comme écritures). En témoigne les benchmarks officiels du TPC.org.
Le TPC-C qui date de 1992 est relativement obsolète. La requête la plus complexe utilise 3 tables... TPC.org aurait dû fermé ce benchmark, mais sous la pression d'Oracle, cela na pas été le cas, car Oracle continu de battre ses propres records, quasiment tout seul, les autres éditeurs ayant préféré migré leurs tests sur le nouveau benchmark TPC-E datant de 2007, dont la requête la plus complexe comporte 8 tables...
Mais, ce qu'il y a de rigolo, ce que Oracle s'est fait battre à plate coutures pas les chinois avec Alibaba !
http://tpc.org/tpcc/results/tpcc_res...pm&sortby=desc
Microsoft à préféré migré sur le nouveau benchmark (TPC-E) dès sa parution, plus représentatif :
http://tpc.org/tpce/results/tpce_results5.asp
Sur le décisionnel Oracle est aussi à la traine...
- Sur les bases de 1 To il arrive péniblement au niveau de SQL Server
- Sur les bases de 3 To, il est loin de SQL Server : indice de perf 1 244 450 pour SQL Server contre 409 721 pour Oracle, soit donc 3 fois moins performant
- Sur les bases de 10 To, c'est pire encore... : indice de perf 1 651 514 pour SQL Server contre 377 594 pour Oracle, soit donc 4 fois moins performant
http://tpc.org/tpch/results/tpch_results5.asp
Seul EXASOL fait mieux que SQL Server et Oracle sur la BI.
Dans les comparatifs privés que nous avons fait pour des clients, la différence entre SQL Server et Oracle est très importante.... Un seul exemple, Oracle ne supporte toujours pas les index verticaux (columnstore dans SQL Server) pour les bases OLTP... Et ils commencent juste à se rendre compte que les index IOT (équivalent des index cluster de SQL Server) ça peut être bluffant. Et ils n'ont toujours pas la clause INCLUDE que PostGreSQL vient d'ajouter pour ses index et que SQL Server avait depuis la version 2005.
A +
Chers membres du club,
J'ai le plaisir de vous présenter la deuxième partie de cet article de SQLpro :
Bonne lecture ;)Citation:
Ce second article compare PostGreSQL à SQL Server et met en avant les différences de performances des requêtes d’agrégation qui utilisent la fonction COUNT.
Notre premier article comparait les temps de réponse entre PostGreSQL et SQL Server des requêtes administratives que les DBA doivent ordinairement exécuter.
:fleche: Retrouvez les meilleurs cours et tutoriels pour apprendre les SGBD et SQL
.
Bonsoir,
Merci cette doc, je garde sous le coude ! Avoir ce type est toujours utile quand on chercher des "logiques de fabriques" de requêtes.
"MVCC crée de multiples versions des mêmes lignes" cela créé des multiples lignes si il y a des transactions d'écritures simultanées non ?
Vous avez parfaitement raison et je devrais rectifier cela. Plus de détails sur le fonctionnement de MVCC par Bruce Momjian :Citation:
Envoyé par VLDG
https://momjian.us/main/writings/pgsql/mvcc.pdf
Merci
A +
Pourquoi s'entêter à mesurer les performances de PostgreSQL alors que personne n'utilise PostgreSQL sous Windows en production et que PostgreSQL fonctionnera certainement plus vite sous Linux que sous Windows comme l'affirme Magnus Hagander l'une des personnes qui a porté PostgreSQL sous Windows sur Stack Exchange · Server Fault :
J'ai bien peur que ce test n'est que peu d'intérêts. Mais bon L'auteur (un MVP Microsoft) est bien connu pour s'être donné comme mission de faire de la propagande SQL Server au détriment des bases de données open source, et il fait ça depuis très longtemps (voir par exemple son article Découvrez les dangers de MySQL et MariaDB truffés d'erreurs). J'ignore pourquoi l'auteur s'est donnée cette mission, il ne serait pas surprenant qu'il en tire quelques avantages en coulisses.Citation:
PostgreSQL fonctionnera certainement plus vite sous Linux que sous Windows (et je dis cela en tant que l'un des gars qui a écrit le portage Windows de celui-ci...) Il est conçu pour une architecture de style Unix, et implémente cette même architecture sous Windows, ce qui signifie qu'il fait un certain nombre de choses que Windows n'est pas conçu pour faire correctement. Il fonctionne bien, mais il n'est pas aussi performant.
Bonjour,
En dehors de toute considération pour un parti ou un logiciel. Concernant les perfs SQL, la question de fond avoir est la suivante : "en terme d’exécution qu'elle est le SGBD le plus "rapide" ?".Citation:
Envoyé par FatAgnus
Sur l'aspect vitesse d’exécution ou vitesse de traitement, bien évidement qu'un Oracle, MS Server, SAS, Access seront plus rapide ... La gratuité se "paye" . Comment ? Un Wamp ou un MySQL est bon a faire une base d'archive ...
J'ai l'impression qu'il manque un bout des résultats ; je n'ai que le chapitre "XII. Performances du COUNT sans aucun index", un tableau de résultat et ensuite des conclusions qui parlent d'index Btree & ColumnStore.
Donc à "la question de fond", tu réponds par un argument sur la forme...Citation:
Envoyé par tanaka59
Bonsoir,
Tu casses les pieds a toujours intervenir inutilement.Citation:
Envoyé par SimonDecoline
Quand je dis la "gratuité se paye", sur le fond, c'est qu'un produit gratuit se sera toujours moins aboutit qu'un produit payant ...
Désolé mais j'ai autant le droit que toi de m'exprimer. Je pense que ce que tu racontes est du grand n'importe quoi bien plus inutile. Mais je ne te reproche pas de le dire alors merci d'en faire autant.Citation:
Envoyé par tanaka59
Justement comme l'atteste ces nombreux articles ou commentaires l'auteur Frédéric Brouard a un parti pris contre les bases de données open source depuis des années, donc l'impartialité de Frédéric Brouard porte à suspicion. Mesurer les performances de PostGreSQL sur Windows est juste un moyen de baiser les résultats puisque le port Windows de PostgreSQL n'est pas aussi performant que la version Linux. Et surtout personne n'utilise PostGreSQL sous Windows en production, donc l'intérêt de ce test est sans intérêt, sauf si on veut dénigrer PostGreSQL. On peut faire confiance aux compétences reconnues de Frédéric Brouard pour trouver les tests qui désavantageront PostgreSQL, comme exécuter PostgreSQL sur un système d'exploitation où il est moins performant. Mais l'auteur a sûrement d'autres astuces dans son sac.Citation:
Envoyé par tanaka59
Votre esprit embrumé, confond deux choses. Votre première confusion est la gratuité et l'open source. Un logiciel gratuit n'est pas forcément open source. Ensuite votre deuxième confusion vient de la licence d'un logiciel et de sa performance. À vous croire le fait de publier un logiciel sous licence open source le rendrait moins rapide ? Je ne sais pas si vous êtes conscient de l'absurdité de votre raisonnement. La performance et la licence d'un logiciel sont deux choses distinctes.Citation:
Envoyé par tanaka59
Bonsoir,
Tout le monde a un parti pris ... Enfonçons le clou justement , Access + le VBA ou SAS (avec SQL + les proc) , dans les deux cas on a des logiciels qui bien plus performant que MySQL qui propose du "SQL de base". La raison est simple des "addon" couvert par une licence payante. Donc du SQL pouvant s'utiliser avec un complément sera bien plus performant .Citation:
Envoyé par FatAgnus
Faite le test sur le min/max d'un nombre pour plusieurs fois la même occurrence, en ne retournant que le min ou le max de cette occurrence. 45 minutes en MySQL , 30 second en SQL SAS avec des proc et une transposée ...
Vous avez une vision un peu trop simpliste mon cher ...Citation:
Envoyé par FatAgnus
Prenez MySQL, MariaDB, PostGreSQL et Base (de libre office, open office) ... logiciels open source et / ou gratuit ... les perfs , l'ergonomie, la rapidité d’exécution, les langages addons pour faciliter les traitement ...
Dites moi en quoi c'est absurde de dire qu'un SAS avec des proc et plus rapide / performant qu'un MySQL avec du php ?
Donc oui l'open source est la gratuité joue beaucoup ... ;)