Discussion :

[pachot]

Alors pour ceux qui ont des doutes sur les performances de SQL sur des grosses tables, un exemple sur une base où je passais par hasard ce matin. Je n'ai changé que les noms de table/schema

La table fait 3.5 Tera, contient 400 millions de lignes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
SQL> select num_rows,blocks from dba_tables where owner='XXX' and table_name='OP';
 
 
  NUM_ROWS     BLOCKS
---------- ----------
 398327400  236418039
 
 
Elapsed: 00:00:00.01
 
 
SQL> select blocks,bytes/1024/1024/1024/1024 TB from dba_segments where owner='XXX' and segment_name='OP';
 
 
    BLOCKS         TB
---------- ----------
 238309992  3.5510956

Un requête courante fait un accès par index comme celui-ci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
 
SQL> select sum(length(data_segment)) from "XXX"."OP" where DECODE("REFERENCE",'0',"ENTITY","REFERENCE") between '000931151470664' and '000931181978026';
 
 
SUM(LENGTH(DATA_SEGMENT))
-------------------------
8854698
 
 
Elapsed: 00:00:04.03

Donc 4 secondes. Et voici le plan d'exécution avec les statistiques d'exécution:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
SQL> select * from table(dbms_xplan.display_cursor(format=>'allstats last'));
 
 
PLAN_TABLE_OUTPUT
------------------------------------------------------------------------------------------------------------------------------------------------------
SQL_ID  cg9fkkb28t3xs, child number 0
-------------------------------------
select sum(length(data_segment)) from "XXX"."OP" where
DECODE("REFERENCE",'0',"ENTITY","REFERENCE") between '000931151470664'
and '000931181978026'
 
 
Plan hash value: 2490914298
 
 
-------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                     | Name                       | Starts | E-Rows | A-Rows |   A-Time   | Buffers | Reads  |
-------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT              |                            |      1 |        |      1 |00:00:04.02 |     610 |    608 |
|   1 |  RESULT CACHE                 | 4zy76myzu25zg9f8v75dy3awb0 |      1 |        |      1 |00:00:04.02 |     610 |    608 |
|   2 |   SORT AGGREGATE              |                            |      1 |      1 |      1 |00:00:04.01 |     610 |    608 |
|   3 |    TABLE ACCESS BY INDEX ROWID| OP                         |      1 |      6 |    604 |00:00:04.01 |     610 |    608 |
|*  4 |     INDEX RANGE SCAN          | AK1_OP                     |      1 |      6 |    604 |00:00:00.01 |       6 |      4 |
-------------------------------------------------------------------------------------------------------------------------------

C'est bien un accès à la table, par index. Seulement quelques pages lues (quelques pages d'index puis une page par ligne). Toutes lues sur disque ici. L'index B-Tree a une hauteur de 3 branches ici. Avec 300 milliard de lignes, il aurait peut-être une hauteur de 4 ou 5 -> juste une ou de page de plus à lire -> impact négligeable sur le temps d'exécution.

Et encore, on n'est pas en parallel query ici, il n'y a aucun partitionnement, aucune compression. On pourrait aller beaucoup plus loin. Et on est dans le cas le pire: rien encache (autant de 'Reads' que de Buffers') et lignes dispersées dans des blocs différents (Buffers=A-rows). C'est une appli qui a plus de 15 ans, utilisée tous les jours et qui tourne sans aucune administration à part rajouter des datafiles, sur un vieux serveur!

Cordialement,
Franck.

[SQLpro]

Pour continuer dans le sens de Franck Pachot, mais sur du SQL Server, différents extraits d'un audit réalisé sur un ensemble de très grosses bases (plusieurs dizaines de To) :

Procédure ...Exploitation.dbo.Set_Titre_Diffusion_Pour_...

... cette procédure doit être optimisée pour accélérer encore le traitement global du rapprochement.
En effet, elle est appelée de façon itérative par la procédure de rapprochement. Malheureusement, dans le temps imparti, je ne suis pas allé très loin car la création d'index sur la table ScamExImport.dbo.H_SEQUENCE_DIFFUSION_OEUVRE_LINK a pris plus d'une heure : cette table contient près de 200 millions de lignes, un peu dur à traiter pour mon PC.

En créant les deux index suivants, on obtient un bon gain, en passant de plus de 60 secondes et des millions d'IO à 700 millisecondes.
...

En récrivant un peu l'expression du premier SELECT de cette procédure, comme suit :
...

nous sommes alors à 40 ms.

Dans cette partie de l'audit nous sommes avec des tables de plusieurs centaines de million de lignes...

Bref 200 millions de lignes, 700 ms...

Autre extrait du même rapport d'audit :

... on voit clairement dans le plan d'exécution réel (en pièce jointe) un écart d'estimation de cardinalités énorme sur la table #TMP_LISTE_TITRES:
- un premier estimé à 3 555 lignes, en réalité 42 333 128 sur 12 836 boucles
- un deuxième qui amplifie le premier écart, avec toujours 3555 lignes estimées vs. 3 146 806 488 en 954 156 boucles

En effet l'exécution des jointures par boucles imbriquées pour 3555 lignes aurait été efficace.
Mais cet algorithme ne l'est plus lorsque le nombre de lignes à traiter devient plus élevé.

L'écart d'estimation est du à l'expression du filtre de la première CTE, nommée TMP_LISTE_TITRES_CTE :

AND NOT ( @b_est_radio = 1 AND TLT.D_DATE_HEURE_DIFFUSEUR >= '01/01/2009' )

Nous avons tenté une première reformulation en écrivant :

AND (@b_est_radio = 0 OR TLT.D_DATE_HEURE_DIFFUSEUR < '2009101')
AND (@b_est_radio <> 1 OR TLT.D_DATE_HEURE_DIFFUSEUR < '01/01/2009')


Mais comme bien souvent, le OR pose problème. Un remède habituel est d’exploser le OR en UNION, ce qui nous donne :


SELECT d_date_heure_diffuseur, fk_sequence_diffusion, f_Id_Rnd_File, id_titre_repartiteur, fk_Oeuvre_Repartiteur, fk_Oeuvre_Diffuseur
FROM #TMP_LISTE_TITRES TLT
WHERE TLT.F_ID_RND_FILE = 29549
AND @b_est_radio = 0
UNION
SELECT d_date_heure_diffuseur, fk_sequence_diffusion, f_Id_Rnd_File, id_titre_repartiteur, fk_Oeuvre_Repartiteur, fk_Oeuvre_Diffuseur
FROM #TMP_LISTE_TITRES TLT
WHERE TLT.F_ID_RND_FILE = 29549
AND TLT.D_DATE_HEURE_DIFFUSEUR < '20090101'

On passe alors de l'empreinte suivante :

Table 'Liste_SDOD'. Scan count 0, logical reads 27739, physical reads 18, read-ahead reads 70
Table 'D_OEUVRE'. Scan count 0, logical reads 26805
Table 'Worktable'. Scan count 3, logical reads 13918, physical reads 0, read-ahead reads 5190
Table 'Workfile'. Scan count 0, logical reads 0
Table 'R_DIFFUSEUR'. Scan count 1, logical reads 4
Table 'D_SEQUENCE_DIFFUSION'. Scan count 0, logical reads 6739106, physical reads 49, read-ahead reads 24
Table '#TMP_LISTE_TITRES__000000000029'. Scan count 966994, logical reads 23207856
(3298 row(s) affected)
SQL Server parse and compile time : CPU time = 408500 ms, elapsed time = 413230 ms.

A celle-ci :

Table 'Liste_SDOD'. Scan count 0, logical reads 26599
Table 'D_OEUVRE'. Scan count 0, logical reads 26805
Table 'Worktable'. Scan count 3, logical reads 13918
Table 'Workfile'. Scan count 0, logical reads 0
Table 'R_DIFFUSEUR'. Scan count 1, logical reads 4
Table 'D_SEQUENCE_DIFFUSION'. Scan count 0, logical reads 81639
Table '#TMP_LISTE_TITRES__000000000029'. Scan count 8, logical reads 192

SQL Server parse and compile time : CPU time = 203 ms, elapsed time = 687 ms.

Notez juste le nombre de ligne : 3 146 806 488
Vous avez bien lu... 3 milliards 146 millions de ligne dans une table... temps de traitement 687 ms...

Bref lorsqu'un développeur me parle de NoSQL comme étant beaucoup plus rapide, je me marre !!!

A +

[commandantFred]

Pour continuer dans le sens de Franck Pachot, mais sur du SQL Server, différents extraits d'un audit réalisé sur un ensemble de très grosses bases (plusieurs dizaines de To) :
Notez juste le nombre de ligne : 3 146 806 488
Vous avez bien lu... 3 milliards 146 millions de ligne dans une table... temps de traitement 687 ms...

Bref lorsqu'un développeur me parle de NoSQL comme étant beaucoup plus rapide, je me marre !!!

A +

Notez que je ne cherche absolument pas à offenser. Cet article parle de pratiques commerciales contestées. Bien sûr que nous sommes tous concernés par les perfs mais ce n'est pas le sujet de fond.

La question soulevée par cet article est "Peut-on se débarrasser d'un éditeur de SGBD qui a compris que vous ne pouvez pas facilement remplacer son produit parce que vous avez beaucoup développé dessus ?"

La réponse à cette question est complexe et votre approche ne plaide pas pour l'adoption d'une technologie quelconque. D'autant que pour pertinente qu'elle soit , votre démonstration est un gros test unitaire qui ne prouve pas un comportement en charge et je vais développer ces point.

Les 300 milliards de lignes dont j'ai parlé ne sont qu'un exemple de ce qui risque d'arriver quand un développement a sous-évalué la volumétrie (cas fréquent). On apprécie que le serveur "tienne la charge" mais ce n'est certainement pas un exemple à suivre pour autant. Bien sûr qu'il aurait mieux valu faire en sorte que la table n'atteigne jamais ce nombre mais à l'époque du développement, cela n'avait pas été anticipé. On ne pouvait pas prévoir cette évolution.

Maintenant, s'il n'y a pas d'autre moyen, il faudra développer une solution alternative. Mais si votre SGBD a doublé son prix entretemps, vous n'êtes pas très chaud pour accroître votre dépendance à son égard.

Ce n'est pas le nombre millisecondes ou de lignes que je retiens de votre échange. C'est plutôt l'arrogance avec laquelle vous assénez un test tellement complexe que personne ne va le reproduire (sans compter tous ceux qui ne le comprennent pas).

Je suis un projet pour un très grand compte qui ne relève pas du back-office mais plutôt d'un process industriel où on stocke des valeurs et des mesures (floats) et où le volume dépasse souvent le milliard de lignes.
Un concurrent propose une solution basée sur le SGBD que vous défendez et perd régulièrement tous les appels d'offre. Je sais pourquoi je remporte à chaque fois. Le client est très regardant sur la dépendance aux éditeurs. C'est même une partie importante de son métier. C'est pourquoi je me suis permis d'intervenir sur ce thread. En termes de perfs, je n'obtiens jamais vos chiffres mais je me débrouille pas mal avec des tables temporaires. C'est pourquoi j'ai cité le problème des indexes partiels.

En tous cas. Je n'ai pas changé d'appréciation sur SQL Server suite à cette discussion. Il est sans doute le plus rapide mais... comme avec les autres grands éditeurs, vous l'adoptez comme une religion et ne pouvez plus rien faire d'autre que de défendre votre choix par la suite. Dommage pour les développements qui ne correspondront jamais à ce profil.

[Stan Adkens]

Le secteur de consommation d’Amazon a désactivé son entrepôt de données Oracle
Dans des efforts de la société de se séparer des produits Oracle

Amazon, leader du commerce électronique à l’échelle mondiale et l’un des géants de l’acronyme GAFAM (Google, Apple, Facebook, Amazon et Microsoft), qui au départ était spécialisé dans la distribution des produits divers en ligne, est aujourd’hui l’un des leaders du marché du cloud computing, à cause de ses prouesses en la matière. Depuis quelques années, la société a fait savoir que d’ici 2020, elle se séparerait des produits Oracle pour faire migrer ses bases de données Oracle vers sa propre technologie de bases de données.

Ce processus de migration des données d’Amazon vers sa technologie en nuage est en très bonne voie, c’est ce que nous apprend un article de Bloomberg publié le vendredi dernier selon lequel Amazon aurait franchi une nouvelle étape dans l'élimination des logiciels d'Oracle qui ont longtemps aidé le géant du commerce électronique à gérer ses activités de vente au détail. En effet, le secteur de consommation de la société a désactivé son entrepôt de données Oracle après avoir migré les données du secteur vers son infrastructure en nuage.

En effet, Amazon est devenu un concurrent de taille de son fournisseur Oracle depuis que la société s’est lancée dans le développement de nombreux produits concurrents tels que Redshift, Aurora et DynamoDB.

Cependant, les raisons d’abandon des produits d’Oracle par Amazon qui s’était toujours satisfait dans l’utilisation des produits Oracle sont de deux ordres. La première raison, Amazon considère que la technologie de base de données de son fournisseur n’est plus capable d’évoluer pour suivre l’élargissement des produits et services que la société offre à sa clientèle. La seconde raison s’explique par les frais de licence exorbitants qu’impose Oracle à ses clients et la technique de vente agressive adoptée par le spécialiste en base de données sur site.

L’annonce des nouveaux progrès d’Amazon dans ses efforts d’abandonner définitivement l’utilisation des SGBD et des services d’Oracle a été faite, vendredi dernier, par Andy Jassy, directeur général d'Amazon Web Services, selon Bloomberg. Il a, par ailleurs, profiter de l’occasion pour répondre à la moquerie du président exécutif et directeur de la technologie d’Oracle Corporation, Larry Ellison, qui avait, le mois dernier, ridiculisé le géant du commerce électronique d’utiliser les bases de données Oracle pour suivre les transactions et stocker des informations, alors qu’il vend des logiciels concurrents.

« Dans le dernier épisode de « uh huh, keep talkin’ Larry, », le secteur de consommation d'Amazon a désactivé son entrepôt de données Oracle le 1er novembre et est passé à Redshift », a écrit Jassy dans un tweet. D'ici fin 2018, Amazon cessera d'utiliser 88 % de ses bases de données Oracle, y compris 97 % de ses bases de données stratégiques, a-t-il ajouté.

Amazon a décidé de basculer vers ses propres infrastructures maintenant qu’il est un acteur majeur du cloud computing et de laisser tomber les services d’Oracle. Cependant, le processus de migration des données vers la technologie d’Amazon lancé le mois dernier ne s’est pas déroulé de façon régulière au départ. En effet, selon un article de CNBC, publié le 23 octobre, le premier jour du démarrage du processus de migration, alors que l’entreprise rencontrait déjà des soucis majeurs liés au site web qui ralentissaient les ventes, elle a dû également faire face à un problème technique dans l’un des plus grands entrepôts de l’Ohio, qui a entrainé des milliers de retards de livraison.

Amazon n’est pas le seul client d’oracle qui a décidé d’abandonner les produits du fournisseur Oracle. SAP SE, fournisseur de bases de données et d'applications tente aussi de se séparer d'Oracle, après avoir acquis plusieurs sociétés qui utilisent des produits Oracle. SAP SE est par ailleurs en train de faire migrer ses filiales vers son propre logiciel.

La société d'exploration pétrolière et gazière Halliburton, le fabricant de jouets Mattel et le fournisseur d'électricité Edison Southern California, ont également rejeté, en mai dernier, les offres de services cloud proposées par Oracle.

Source : Bloomberg

Et vous ?

Qu’en pensez-vous ?
Oracle arrivera-t-il à récupérer les clients perdus ou à se faire de nouveaux grâce à son service cloud public ?

Voir aussi

Amazon envisage d'abandonner complètement les SGBD et services d'Oracle d'ici 2020, Oracle serait incapable de répondre à ses besoins de performance
Un problème technique affecte un entrepôt d'Amazon, suite à la migration de bases de données Oracle, vers sa propre technologie de base de données
Selon Larry Ellison, les nouvelles technologies cloud d'Oracle ont vingt ans d'avance sur celles d'Amazon, partagez-vous cet avis ?
Oracle renforce son offre Cloud avec 24 nouveaux services, pour mieux concurrencer AWS
Les techniques de vente agressives d'Oracle s'avèrent contre-productives, elles ont tendance à chasser certains clients

[darklinux]

Le moment de vérité sera lors du black friday ... soit cela tient et Oracle est mort, soit ça craque et Bezos a l' air fin . C 'est quitte ou double.

[Mat.M]

Amazon a décidé de basculer vers ses propres infrastructures maintenant qu’il est un acteur majeur du cloud computing et de laisser tomber les services d’Oracle.

étant donné qu'on n'est jamais mieux servi que par soi-même ça évite à Amazon de dépenser des milliions dans des licences Oracle

Remarquez certains "gros machins" comme par exemple l'administration française ou des grosses entreprises devraient prendre l'exemple

[CinePhil]

Remarquez certains "gros machins" comme par exemple l'administration française ou des grosses entreprises devraient prendre l'exemple

Il est fortement question que l'ERP dédié à l'enseignement supérieur que nous utilisons abandonne Oracle au profit de PostgreSQL... à cause du coût des licences.
La décision et le début de la migration devrait intervenir en 2019. Mais ce n'est pas un petit chantier.

[escartefigue]

La clause WHERE des index est supportée dans la plupart des SGBDR. La compression des index aussi dans les grands SGBDR (Oracle, SQL Server...). Seul SQL Server propose en sus la possibilité de faire des index couvrants via la clause INCLUDE

Pour info, DB2 for Z/OS le propose aussi.
Il me semble depuis la V11

EDIT : non c'est depuis la V10

[pachot]

Pour info, DB2 for Z/OS le propose aussi.
Il me semble depuis la V11

EDIT : non c'est depuis la V10

L'important, ce n'est pas les fonctionalités implémentées, mais les solutions à des problèmes. Oracle n'a pas d'index couvrant, mais n'en a probablement pas besoin car d'autres fonctionnalités répondent au mêmes besoins (compression prefixe dans les branches, Index Only access path,...)

[Stan Adkens]

D’ici fin 2019, Amazon aura complètement abandonné les bases de données d’Oracle
Selon le PDG d’Amazon Web Services

Commencée il y a 4 à 5 ans, la migration d’Amazon vers ses propres infrastructures continue et serait en voie de se terminer. Selon CNBC, la transition serait complètement achevée d’ici fin 2019 en ce qui concerne les bases de données, d’après les déclarations du PDG d’Amazon Web Services, Andy Jassy. En août dernier, Amazon a annoncé qu’il envisageait d'abandonner complètement les SGBD et services d'Oracle d'ici 2020. En effet, l’émergence d'Amazon en tant que fournisseur majeur de technologie de centre de données a transformé un grand nombre de ses fournisseurs de longue date, y compris Oracle, en rivaux redoutables.

Certaines raisons ont emmené Amazon à vouloir abandonner les produits Oracles et à migrer vers ses propres produits concurrents. En effet, selon le géant du commerce de détail en ligne, la technologie de base de données de son fournisseur n’est plus capable d’évoluer pour suivre l’élargissement des produits et services qu’Amazon offre à sa clientèle.

Amazon doit cette performance à l'expansion d'Amazon Web Services qui lui a, par ailleurs, permis de surclasser Alphabet en début d’année pour devenir la deuxième entreprise cotée en bourse la plus importante au monde. Au second trimestre de cette année, AWS a enregistré une croissance de 49 % et en septembre dernier, Amazon a franchi le cap des 1000 milliards de dollars en capitalisation boursière, un mois après que le géant Apple ait réalisé cet exploit, alors que les résultats d’Oracle stagnent et les actions continuent de chuter.

Aussi, Amazon abandonne les produits Oracle, comme d’autres entreprises l’ont fait, à cause des frais de licence exorbitants qu’impose Oracle à ses clients et la technique de vente agressive adoptée par le fournisseur.

Amazon a décidé de basculer vers ses propres infrastructures maintenant qu’il est un acteur majeur du cloud computing et de laisser tomber les services d’Oracle. Il a développé également des produits concurrents, notamment Redshift, Aurora et DynamoDB. En début novembre, le secteur de consommation d’Amazon a désactivé son entrepôt de données Oracle après avoir migré les données du secteur vers son infrastructure en nuage, notamment vers Redshift.

Amazon a réitéré sa volonté d’abandonner les produits Oracle, selon un article de CNBC du mercredi dernier. Selon le PDG d’Amazon Web Services, la migration se passe plutôt bien du côté des bases de données. D’ici la fin de cette année, la quasi-totalité des bases de données d'Amazon qui fonctionnaient sur Oracle seront plutôt sur une base de données Amazon, selon Jassy. « Nous avons pratiquement terminé d'abandonner Oracle du côté de la base de données », a déclaré Jassy mercredi à Jon Fortt de CNBC, lors d'une interview. « Et je pense que fin 2019 ou mi-2019, nous aurons terminé. », a-t-il ajouté.

Cette migration est à la base d’une certaine hostilité entre le géant mondial du commerce électronique de détail et le leader des bases de données sur site. La guerre des mots a commencé avec le lancement d’Aurora, le service de base de données relationnelle d’Amazon ainsi qu’un outil permettant aux entreprises de déplacer des bases de données vers le cloud qui visent le marché d’Oracle et qui attitreraient déjà certains de ses clients.

Mais cela n’empêche pas Amazon de continuer à réduire sa dépendance d’Oracle pour ses besoins en données et d’utiliser plutôt ses propres services. 88 % des bases de données Amazon qui fonctionnaient sur Oracle le seront sur Amazon DynamoDB ou Amazon Aurora d’ici janvier, a déclaré Jassy. 97 % des « bases de données stratégiques » fonctionneraient sur DynamoDB ou Aurora d'ici la fin de l'année, a-t-il ajouté.

Le mouvement d’abandon des produits et services d’Oracle s’étend à plusieurs autres entreprises. Le fournisseur de bases de données et d’applications, SAP SE, est en train de faire migrer progressivement ses données vers ses propres infrastructures.

La société d'exploration pétrolière et gazière Halliburton, le fabricant de jouets Mattel et le fournisseur d'électricité Edison Southern California, ont également rejeté, en mai dernier, les offres de services cloud proposées par Oracle.

Source : CNBC

Et vous ?

Qu’en pensez-vous ?
Pensez-vous qu’Amazon pourra tenir ce calendrier de migration ?

Voir aussi

Un problème technique affecte un entrepôt d'Amazon, suite à la migration de bases de données Oracle, vers sa propre technologie de base de données
MariaDB rachète la technologie de base de données distribuée Clustrix, pour concurrencer Oracle RAC
Oracle Autonomous Transaction Processing : Oracle renforce sa base de données cloud autonome, avec un nouveau service de traitement transactionnel
Revenus cloud : les actionnaires d'Oracle lui reprochent d'avoir livré des communiqués trompeurs, un recours collectif se prépare contre la société
Amazon publie une préversion de Corretto, une distribution gratuite d'OpenJDK, qui devrait devenir la distribution par défaut sur Amazon Linux 2

[kilroyFR]

Petite guguerre d'egos entre eux, c'est de la comm legitime, ils se trouvent concurrents.
Est-ce que pour autant ca poussera un client oracle lambda a passer a dynamodb ou autre, pas certain; car les memes problemes de couts, hebergement etc restent probables (on l'a vecu sur tentative de passage vers sqlserver).
On est toujours chez oracle, ca rassure nos clients plutot que de mettre des BDD autres (mongodb ou autre).
Sur des projets a plusieurs millions, les licences sont une paille (comme pour les vendeurs de voitures ou de canapés, les reductions appliquées (80% pour nos projets)) (et la garantie de faire migrer des données 10-20 ans apres est reelle puisqu'on l'a vecu sur plusieurs dizaines de projets sans se poser de questions tout en tirant partie des nouvelles fonctionnalités/gains de perfs).

[rawsrc]

Oracle a réitéré sa volonté d’abandonner les produits Oracle

Enfin !!! Il serait temps

[pachot]

(et la garantie de faire migrer des données 10-20 ans apres est reelle puisqu'on l'a vecu sur plusieurs dizaines de projets sans se poser de questions tout en tirant partie des nouvelles fonctionnalités/gains de perfs).

Oui. Et vers n'importe quelle platforme, Cloud ou on-premises. Passer sur des solutions propiétaires AWS impose de rester sur le cloud.

[kilroyFR]

Passer sur des solutions propiétaires AWS impose de rester sur le cloud.

Oui (petite parenthese) vecu a titre personnel dans une association (internationale) a laquelle j'appartiens.
On est passé d'une solution avec hebergement classique (serveurs chez BigDaddy) a plusieurs centaines de $ a l'année a une solution complete toute hebergée dans AWS a 10 000 $ sur 3 ans.
Maintenant on est ferré chez eux et finalement toutes les technos et autres elements technos mis en avant sur lequel nos admins ont bavé ne sont pas exploités (faut de temps et d'investissement perso pour s'y former).
Ca nous coute un bras par an et pour le moment on est dans une fuite en avant. Une gabegie financiere tout ca pour s'etre fait berné par des potentiels besoins (qu'on n'avait pas et qu'on n'aura jamais). Tous les ans les membres de l'assoc (plusieurs 10aine de milliers de membres heureusement se cotisent pour financer le monstre).
Plus aucun autonomie; on maitrisait tout, on ne maitrise plus rien. Amazon ne vaut pas mieux que les autres.

[Stéphane le calme]

Migration achevée : Amazon’s Consumer Business a déconnecté sa dernière base de données Oracle,
conformément à son calendrier

Amazon, qui au départ était spécialisé dans la distribution des produits divers en ligne, est aujourd’hui l’un des leaders du marché du cloud computing. Depuis quelques années, la société a travaillé pour préparer sa séparation des produits Oracle avec dans un premier temps une migration de ses bases de données Oracle vers sa propre technologie de bases de données. Il faut préciser qu'Amazon a développé des produits concurrents à l'instar de Redshift, Aurora et DynamoDB. En début novembre, le secteur de consommation d’Amazon a désactivé son entrepôt de données Oracle après avoir migré les données du secteur vers son infrastructure en nuage, notamment vers Redshift.

Les raisons d’abandon des produits d’Oracle par Amazon qui s’était toujours satisfait dans l’utilisation des produits Oracle sont de deux ordres. La première raison, Amazon considère que la technologie de base de données de son fournisseur n’est plus capable d’évoluer pour suivre l’élargissement des produits et services que la société offre à sa clientèle. La seconde raison s’explique par les frais de licence exorbitants qu’impose Oracle à ses clients et la technique de vente agressive adoptée par le spécialiste en base de données sur site.

Oracle a enregistré déjà des départs de clients à cause de ses tactiques de vente agressives, menaçant les clients de ses logiciels sur site avec des audits d'utilisation potentiellement coûteux et proposant fortement la migration vers sa solution cloud comme une panacée à leurs problèmes. Par ailleurs, d’après les résultats d’une étude réalisée en avril par Jefferies & Company, Oracle s’est fait surclasser sur le marché des infrastructures et plateformes en tant que services (IaaS / PaaS) par Amazon, le leader du marché du cloud, Microsoft et autres.

En réponse à la moquerie du PDG d’Oracle Corporation, Larry Ellison, qui visait ces efforts d'Amazon, Andy Jassy, directeur général d'Amazon Web Services, a déclaré en novembre : « Dans le dernier épisode de "oh oh, cause toujours Larry", le secteur de consommation d'Amazon a désactivé son entrepôt de données Oracle le 1^er novembre et est passé à Redshift. D'ici fin 2018, Amazon cessera d'utiliser 88 % de ses bases de données Oracle (y compris 97 % de ses bases de données systèmes critiques) pour se tourner vers Aurora et DynamoDB ».

Calendrier respecté

Dans un entretien avec Jon Fortt de CNBC, Jassy a indiqué en novembre que « Nous avons pratiquement terminé d'abandonner Oracle du côté de la base de données ». Il a précisé qu'il pense que « fin 2019 ou mi-2019, nous aurons terminé ». Il a fallu attendre le mois d'octobre 2019 pour que Jeff Barr, Chief Evangelist for AWS, déclare : « Je suis heureux d'annoncer que cet effort de migration de base de données est maintenant terminé. L’activité grand public d’Amazon vient de désactiver sa dernière base de données Oracle (certaines applications tierces sont étroitement liées à Oracle et n’ont pas été migrées) ».

Plus de 100 équipes Amazon’s Consumer business ont participé à la migration. Cela inclut des marques et des sites réputés destinés aux clients, tels que Alexa, Amazon Prime, Amazon Prime Video, Amazon Fresh, Kindle, Amazon Music, Audible, Shopbop, Twitch et Zappos, ainsi que des équipes internes telles qu'AdTech, Amazon Fulfillment Technology, Consumer Payments, Customer Returns, Catalog Systems, Deliver Experience, Digital Devices, External Payments, Finance, InfoSec, Marketplace, Ordering, et Retail Systems.

Barr note que « Nous avons migré 75 pétaoctets de données internes stockées dans près de 7 500 bases de données Oracle vers plusieurs services de base de données AWS, notamment Amazon DynamoDB, Amazon Aurora, RDS (Amazon Relational Database Service) et Amazon Redshift. Les migrations ont été effectuées avec peu ou pas de temps d'arrêt et ont couvert 100 % de nos systèmes propriétaires. Cela inclut les charges de travail complexe d'achat, de gestion de catalogue, de traitement des commandes, de comptabilité et de diffusion vidéo en continu ».

Amazon a suivi les coûts et les performances et assure avoir obtenu les résultats suivants :

• Réduction des coûts : Amazon a réduit les coûts de ses bases de données de plus de 60 % en plus du taux fortement réduit que l'entreprise a négocié en fonction de sa taille. Les clients signalent régulièrement des économies de coûts de 90 % en passant d'Oracle à AWS.
• Amélioration des performances : la latence de ses applications destinées aux consommateurs a été réduite de 40 %.
• Frais généraux d'administration : le passage aux services gérés a réduit les frais généraux d'administration de la base de données de 70 %.

« La migration a donné à chaque équipe interne la liberté de choisir le service de base de données AWS sur mesure, qui répond le mieux à ses besoins, et de mieux contrôler son budget et son modèle de coûts. Les services à faible temps de latence ont été migrés vers DynamoDB et d'autres bases de données non relationnelles hautement évolutives telles que Amazon ElastiCache. Les charges de travail relationnelles transactionnelles avec des exigences élevées en matière de cohérence des données ont été transférées vers Aurora et RDS; les charges de travail analytiques ont été migrées vers Redshift, notre entrepôt de données dans le cloud ».

Amazon a même fait une petite vidéo pour enregistrer la fermeture de la dernière base de données Oracle et a célébré le moment :

Voici quelques exemples des migrations effectuées dans les équipes Amazon :

• Advertising : après la migration, cette équipe a été en mesure de doubler la taille de son parc de bases de données (et son débit) en quelques minutes afin de s'adapter au trafic de pointe, grâce à Amazon Relational Database Service (Amazon RDS), un effort d'intensification qui lui aurait pris des mois autrement. Amazon RDS vous permet d'installer, de gérer et de mettre à l'échelle facilement une base de données relationnelle dans le cloud. Ce service offre une capacité économique et ajustable ainsi qu'une automatisation des tâches administratives chronophages, telles que l'allocation de matériel, le paramétrage de bases de données, l'application de correctifs et les sauvegardes. Vous pouvez ainsi vous concentrer librement sur vos applications, afin de leur donner les performances rapides, la haute disponibilité, la sécurité et la compatibilité dont elles ont besoin.
• Buyer Fraud : cette équipe a déplacé 40 To de données en une heure d'indisponibilité et a obtenu des performances identiques, voire meilleures, à un coût deux fois moindre, générées par Amazon Aurora. Amazon Aurora est une base de données relationnelle compatible avec MySQL et PostgreSQL créée pour le cloud, qui associe les performances et la disponibilité des bases de données d’entreprises traditionnelles à la simplicité et à la rentabilité des bases de données open source.
• Financial Ledger : cette équipe a déplacé 120 To de données, réduit le temps de latence de 40 %, réduit les coûts de 70 % et réduit les frais généraux de 70 %, le tout alimenté par DynamoDB. Amazon DynamoDB est une base de données de clés-valeurs et de documents, offrant des performances de latence de l'ordre de quelques millisecondes, quelle que soit l'échelle. Il s'agit d'une base de données multirégion et multimaître et durable entièrement gérée avec un système intégré de sécurité, de sauvegarde, de restauration et de mise en cache en mémoire pour les applications à l'échelle d'Internet. DynamoDB peut traiter plus de 10 mille milliards de demandes par jour et prend en charge des pics de 20 millions de demandes par seconde.
• Wallet : cette équipe a migré plus de 10 milliards d'enregistrements vers DynamoDB, ce qui a permis de réduire le temps de latence de 50 % et les coûts opérationnels de 90 %.

Source : Amazon

Et vous ?

Que pensez-vous de cette décision d'Amazon ?
Que pensez-vous des choix techniques sur mesure pour les différents services ?

Voir aussi :

Amazon France répercute la « taxe Gafa » sur ses tarifs aux entreprises françaises comme il l'avait annoncé il y a quelques mois
Amazon présente Sidewalk, un nouveau protocole sans fil à longue portée pour vos appareils connectés, dans un contexte où l'entreprise a reconnu avoir collecté des données de dispositifs IdO
Jeff Bezos : Amazon est en train de rédiger ses propres lois sur la reconnaissance faciale pour les soumettre aux législateurs fédéraux, espérant qu'ils adopteront une grande partie de son projet
Amazon annonce sa nouvelle gamme d'appareils Echo disponible en précommande et prête la voix de l'acteur américain Samuel L. Jackson et d'autres célébrités à Alexa

[SQLpro]

Ok, je viens d'apprendre des choses sur SQL Server. Oracle ne fait pas ça correctement.

Il est difficile de dire cela. Chaque SGBDR a des spécificités et fait plus ou moins biens les choses. Par exemple Oracle sait très mal gérer les collations (les fameux... fumeux ??? ... NLS) et tente enfin de respecter la norme SQL avec une solution embryonnaire à base de collation depuis peu, mais manquant singulièrement des principales "features" sur le sujet, tandis que MS SQL Server fait cela depuis la version 7 datant de plus de 20 ans et implémentant près de 4 000 collations différentes.
À contrario, MS SQL Server est incapable de concevoir des contraintes UNIQUE multi NULLs alors que l'unicité ne peut porter que sur les valeurs !

Reste que vous présentez ça comme une évidence depuis toujours alors que NoSql s'est développé à une époque où les indexes filtrés étaient impossibles en sql.

Les index filtrés existent dans certains SGBDR depuis près de 20 ans. Le NoSQL depuis moins de 10 ans....

Le reste des features est un peu encombrant dans cette conversation.

A eux seuls les indexes filtrés justifient les problèmes d'Oracle (sujet de l'article).
300 milliards de lignes est effectivement un volume auquel j'ai affaire sous Oracle.

EDIT
Avec le NoSQL il faut plusieurs moteurs et plusieurs bases pour gérer tout cela à la fois...

On ne développe pas en NoSQL pour cloner les features d'un SGBD concurrent ! Il ne s'agit pas de participer à la grande bataille des SGBD mais de faire tourner un SI qui a ses propres besoins. Ces tâches sont conçues spécifiquement avec une certaine créativité... Si vous me permettez, je n’achèterai sans doute jamais de SGBDR parce que je contourne les limites de ceux qui existent. Bien sûr, je peux me tromper et "tomber" pour SQL server mais je crains un peu de ne plus pouvoir travailler sans ensuite et d'être obligé de demander à mes clients d'ouvrir un compte hotmail pour activer leur SI ...

Il n'y a aucune activation pour exploiter un serveur MS SQL Server. En effet, par sécurité et en cas d'urgence, vous devez pouvoir récupérer vos données et être opérationnel sur un SGBDR sans être contraint ni par une clef de licence, ni par un processus de validation par Internet. Mais il faudra penser à régulariser cela après coup, car de mémoire, vous pouvez rester dans cet état pendant 180 jours, mais pas au dela;..

EDIT
Finalement, les deux grands éditeurs de SGBD se ressemblent. Au début, ils sont sympas et souriants. Ensuite ils vous demandent de payer des choses, puis d'afficher leur logo sur votre porte. Enfin , ils vous expliquent que vous ne seriez rien sans eux et qu'à ce titre, votre boite leur appartient un peu. N'est-ce pas exactement ce qu'on reproche à l'un d'eux ici ?

De toute façon, avec 300 milliards de ligne, que vous soyez dans du "soit-disant" libre (et en matière de SGBD il n'y en as pas de vraiment libre à ma connaissance), ou pas, vous aurez du mal à en sortir en claquant dans les doigts.... Un peu comme si vous vouliez déménager le Louvre ou la BNI du jour au lendemain!

A +

[darklinux]

C ' est un vrai désaveux pour Oracle , non seulement Amazon à réussi à le faire , mais de surcroit , cela prouve que le SGBD est solide au possible

[rawsrc]

La vidéo est terrible en matière de pub pour Oracle. C'est carrément un enterrement en bonne et due forme.

Toute l'équipe sabre le champagne quand on voit en gros plan Oracle stopped. C'est juste énorme !

C'est dire le niveau d'exaspération auquel les équipes ont dû faire face.

La question est de savoir si les p'tits gars d'Oracle au siège ont fait eux aussi péter le Champagne, non le Champomy (c'est plus abordable, maintenant) quand l'ultime paiement d'Amazon est tombé sur le compte.

Je me pose la question quand même, comment une société de la taille d'Oracle ne voit pas la tempête venir ? Parce que question changement de politique commerciale, c'est zéro pointé pour l'instant.
Et puis, il faudrait songer sérieusement à lui faire prendre sa retraite au vieux Larry (75 ans maintenant). Le monde bouge, et à 75 balais, on peut quand même s'imaginer que le gars est un poil rouillé, non ?
Tiens, je n'ai pas regardé le board d'Oracle, va savoir c'est peut-être un EHPAD

[SQLpro]

… Je me pose la question quand même, comment une société de la taille d'Oracle ne voit pas la tempête venir ? Parce que question changement de politique commerciale, c'est zéro pointé pour l'instant.

Il faut relire l'excellent ouvrage intitulé "Quelle est la différence entre Dieu et Larry Ellison" :
https://www.amazon.com/Difference-Be.../dp/0060008768
Pour comprendre pourquoi ce mythomane a conduit sa propre boite à sa perte….
Parmi les faits incroyables et qui montre bien que depuis 2 décennies Oracle est mauvais on aura un éclairage avec ces commentaires :
https://www.scriptol.fr/logiciel/oracle-entreprise.php
L'autre coup de grâce a été donné avec le benchmark TPC- C (benchmark datant de 1992 et totalement obsolète qu'Oracle à interdit au TCP de fermer) avec le chinois Alibaba et son SGBD OceanBase, bâtant le record en doublant les performances….
http://www.tpc.org/tpcc/results/tpcc...ic_results=yes

Et puis, il faudrait songer sérieusement à lui faire prendre sa retraite au vieux Larry (75 ans maintenant). Le monde bouge, et à 75 balais, on peut quand même s'imaginer que le gars est un poil rouillé, non ?

Ce n'est plus lui qui dirige…. depuis bien 3 ans

Tiens, je n'ai pas regardé le board d'Oracle, va savoir c'est peut-être un EHPAD

Oracle a aussi perdu le marché du cloud de l'armée américaine au profit de Microsoft et Amazon….

Et on ne compte plus les entreprises qui se débarrassent totalement d'Oracle : l'Oréal, Servier, ...
Même le CIGREF invite ses membres à fuir Oracle….

Bref, la fin d'Oracle serait-elle proche ?

A +

[CoderInTheDark]

Ce qui m'ennuie c'est qui sont entrain d'entrainer Java dans leur chute.