Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Chroniqueur Actualités

    Excel : comment un dépassement du nombre maximal de lignes a mené à des non-signalements de cas de Covid-19
    Microsoft Excel : comment un dépassement du nombre maximal de lignes a mené à des non-signalements de cas positifs de Covid-19
    Près de 16 000 en raison du choix d'une ancienne version du tableur

    Le gouvernement britannique a manqué d’inclure 16 000 cas confirmés de coronavirus dans ses rapports quotidiens entre le 25 septembre et le 2 octobre. La faute est à mettre sur le compte d’un « problème technique », d’après celui-ci. Si les autorités n’en disent pas plus, des sources bien introduites font état de ce qu’il s’agit d’une erreur de casting. Une question est désormais sur toutes les lèvres : les services de santé anglais en charge du dossier n’auraient-ils pas plutôt dû faire usage d’un SGBD plutôt que du tableur Excel ?

    « Un problème technique a été identifié dans la nuit du vendredi 2 octobre dans le processus de chargement des données qui transfère les résultats positifs de laboratoire COVID-19 au sein des tableaux de bord de reporting. Après une enquête rapide, nous avons identifié que 15 841 cas entre le 25 septembre et le 2 octobre n'ont pas été inclus dans les rapports quotidiens. La majorité de ces cas se sont produits au cours des derniers jours. Le problème technique était dû au fait que certains fichiers contenant des résultats de tests positifs dépassaient la taille maximale de fichier qui gère ces données et les charge ensuite dans les systèmes centraux », indiquent les autorités.




    Les rapports tirés de sources introduites aux services de santé anglais en charge du dossier font pour leur part état de soucis avec le tableur Microsoft Excel : « Le problème a été causé par la façon dont l'agence a rassemblé les logs produits par les entreprises commerciales payées pour analyser les tests afin de découvrir qui est porteur du virus. Ces dernières ont mis leurs résultats à disposition sous forme de listes textuelles – appelées fichiers CSV – sans problème. Public Health England (PHE) avait mis en place un processus automatique pour rassembler ces données dans des modèles Excel afin qu'elles puissent ensuite être téléchargées vers un système central et mises à la disposition de l'équipe Test and Trace du NHS, ainsi que d'autres tableaux de bord informatiques du gouvernement. Le problème est que les propres développeurs de PHE ont choisi pour cela un ancien format de fichier - connu sous le nom de XLS. En conséquence, chaque modèle ne pouvait traiter qu'environ 65 000 lignes de données au lieu du million et plus de lignes qu'Excel est réellement capable de traiter. »

    En effet, les versions les plus récentes du tableur de la suite Microsoft Office prennent un maximum de 1 048 576 lignes et 16 384 colonnes en charge. Même dans le cas du choix de l’une de celles-ci par les autorités britanniques en charge du dossier, le problème serait resté le même. En effet, une fois que le laboratoire a effectué plus d'un million de tests, ce n'est qu'une question de temps avant que ses rapports ne soient pas lus en entier par Public Health England.



    Sur son site, le gouvernement britannique indique qu’une solution de contournement est d’ores et déjà en place. Elle consiste à fractionner les fichiers volumineux en unités que la version d’Excel utilisée est capable de prendre en charge. De plus, un examen complet de bout en bout de tous les systèmes a fait l’objet d’instauration pour éviter que des erreurs similaires ne se reproduisent. Les observateurs restent néanmoins d’avis que l’utilisation d’un véritable système de gestion de base de données (SGBD) reste plus indiquée pour des cas de figure de ce type.

    Excel est un géant dans le monde des tableurs et est régulièrement utilisé par les scientifiques pour suivre leurs travaux et même mener des essais cliniques. Toutefois, le problème avec le logiciel de la suite Office de Microsoft est que son paramétrage est à gérer avec précaution pour les applications scientifiques. Mal s’y prendre lors de cette étape peut mener à des corruptions des données ou à des erreurs comme celle enregistrée par Public Health England. Une étude parue au cours de l’année 2016 l’illustre : le cinquième de 3597 articles publiés ont été affectés par des erreurs en lien avec l’utilisation du tableur. Le Comité de nomenclature HUGO, qui a dû renommer les gènes humains afin que le tableur ne les interprète comme des dates, résume bien le problème dans une vidéo et indique la procédure de prise en main de bases de données susceptibles d’être corrompues du fait d’un mauvais paramétrage du logiciel.

    Grosso modo, c’est la question du choix de l’outil adéquat pour effectuer une tâche donnée qui se retrouve sur la table. En effet, un tiers peut décider de faire usage d’un marteau pour enfoncer des vis dans un mur dans le but d’y accrocher des cadres. Seulement, si ces derniers viennent à tomber et à se casser qui de l’outil ou de celui qui le choisit est le plus à blâmer ?

    Source : Public Health England

    Et vous ?

    Qu’est-ce qui pourrait justifier l’utilisation d’Excel dans un cas de figure comme celui-ci ?
    La nécessité de s’appuyer sur un véritable système de gestion de base de données (SGBD) souffre-t-elle de quelconque contestation dans des cas de figure comme la gestion de données d’une pandémie?

    Voir aussi :

    Microsoft Excel se dote de XLOOKUP, une nouvelle fonction de recherche pour résoudre les nombreuses limitations de VLOOKUP et HLOOKUP
    Laissez tomber Office 2019 et optez plutôt pour Office 365 et ses fonctionnalités basées sur l'IA, le nouveau slogan publicitaire de Microsoft
    Microsoft Ignite 2019 : les annonces qu'il ne fallait pas rater lors de la conférence. Au programme Microsoft Office, Cortana, Microsoft Teams et Fluid Framework
    Microsoft Office 365 reste l'application la plus populaire en entreprise et bat Google G Suite, d'après un rapport
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Membre confirmé
    Vraiment??
    Dans les amministrations publiques on devrait interdire excel... 1/20 des formules a des problemes
    Le taux des erreurs sur les tables est trop grand, pas de test, etc.

  3. #3
    Membre éprouvé
    dans nos administrations 90% de nos documents de travail sont liés à des suites bureautiques (open source ou propriétaire), et la plus part de ces documents ne risquent pas de générer ce type d'erreurs "techniques".
    l'article serait sorti 10 ou 15 ans en arrière avec la version 95 d'excel par exemple j'aurais dit oui, c'est chiant 65000 lignes et 256 colonnes, le nombre de fois ou j'ai du fractionner mes données...,bref
    mais aujourd'hui:1 millions de lignes, j'ai rarement eu l'occasion.
    donc interdire Excel "non", mais réfléchir avant d'utiliser un outils "oui" ça en dit surtout long sur le génie qui à mis en place l'étude...
    Salut à tous et merci @# yoyo3d

  4. #4
    Expert confirmé
    Ce serait rigolo si ce n'était un sujet aussi grave que le covid. Car le zap du recensement n'a pas permis aux personnes 'oubliées' d'être suivies et isolées comme le protocole l'exige. C'est un scandale politique.
    Maintenant le choix d'Excel, alors qu'ils savent pertinemment qu'ils vont avoir des millions de cas à traiter, laisse pour le moins à désirer.
    Repeat after me
    Le monsieur lutte pour la défense des libertés individuelles et collectives

    Repeat after me...

  5. #5

  6. #6
    Membre extrêmement actif
    Citation Envoyé par Patrick Ruiz Voir le message
    Le problème est que les propres développeurs de PHE ont choisi pour cela un ancien format de fichier - connu sous le nom de XLS. En conséquence, chaque modèle ne pouvait traiter qu'environ 65 000 lignes de données au lieu du million et plus de lignes qu'Excel est réellement capable de traiter. »

    En effet, les versions les plus récentes du tableur de la suite Microsoft Office prennent un maximum de 1 048 576 lignes et 16 384 colonnes en charge. Même dans le cas du choix de l’une de celles-ci par les autorités britanniques en charge du dossier, le problème serait resté le même. En effet, une fois que le laboratoire a effectué plus d'un million de tests, ce n'est qu'une question de temps avant que ses rapports ne soient pas lus en entier par Public Health England.
    C'est un peu dommage d'utiliser un ancien format de fichier.

    Ce serait peut-être mieux d'utiliser une base de données, ça offre des options intéressantes.
    Keith Flint 1969 - 2019

  7. #7
    Modérateur

    Qu’est-ce qui pourrait justifier l’utilisation d’Excel dans un cas de figure comme celui-ci ?
    Pas besoin de former les utilisateurs à un autre outil que celui qu'ils connaissent un minimum.

    On se rend pas trop compte car pour "nous" pro de l'IT , appréhender la nouveauté n'est pas un problème. Mais pour certains utilisateur de base ca peut être extrêmement compliqué.

    Exemple vécu :
    J'ai déplacé un bouton sur l'UI d'un outil interne. Il est passé de la gauche à la droite de l'écran.
    On m'a appelé en panique : "le bouton à disparu" , "ca ne marche plus" , "TOUT à changer" , alors que le bouton était juste 300px plus loin ...
    Pry Framework php5 | N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

  8. #8
    Membre extrêmement actif
    Citation Envoyé par grunk Voir le message
    On m'a appelé en panique
    C'est vrai que les gens n'aiment pas du tout le changement, ceux qui ont l'habitude d'Excel ne veulent pas changer de solution.
    Mais au moins quand ils enregistrent un classeur, il faut qu'ils choisissent .xlsx (voir .xlsm si il y a des macros) mais pas .xls, il y a écrit que ça a changé après Excel 2003 quand tu sauvegardes un classeur.
    Keith Flint 1969 - 2019

  9. #9
    Responsable
    Office & Excel

    Puis on vient nous dire: "N'ayez crainte. Installez l'appli et faites-vous tracer. Vos données sont confidentielles et bien gérées" ou "Si vous n'installez pas l'appli, vous êtes incivique parce que vous mettez d'autres personnes en danger"...
    "Plus les hommes seront éclairés, plus ils seront libres" (Voltaire)
    ---------------
    Mes remarques et critiques sont purement techniques. Ne les prenez jamais pour des attaques personnelles...
    Une fois pour toutes, je donne mon avis. Je ne vais pas le répéter à chaque message...
    Si je propose une solution générique sur votre solution spécifique, c'est parce que, fainéant de nature, je privilégie le réutilisable...
    Le VBA ne palliera jamais une mauvaise conception de classeur ou un manque de connaissances des outils natifs d'Excel...
    Ce ne sont pas des bonnes pratiques parce que ce sont les miennes, ce sont les miennes parce que ce sont des bonnes pratiques
    VBA pour Excel? Pensez D'ABORD en EXCEL avant de penser en VBA...
    ---------------

  10. #10
    Nouveau membre du Club
    J'ai travaillé avec des fichiers CSV et la dernière ligne indiquait le nombre de ligne de ce fichier.
    Ainsi un fichier qui n'avait pas cette mention en fin de fichier ou que le nombre de ligne ne correspondait pas partait en erreur.
    C'est de la gestion d'erreur et surtout de la validation des données.
    C'est la base de la programmation, dans Hibernate quand on décrit une table de la BD les annotations permettent de s'assurer de l'intégrité des données et je suis sûr qu'il y a un équivalent côté DotNet.

    C'est l'expérience du support à la production, ma devise est travailler très fort pour que je n'ai rien à faire !

  11. #11
    Membre émérite
    Citation Envoyé par Ryu2000 Voir le message
    C'est un peu dommage d'utiliser un ancien format de fichier.
    Ce serait peut-être mieux d'utiliser une base de données, ça offre des options intéressantes.
    Qu’est-ce qui pourrait justifier l’utilisation d’Excel dans un cas de figure comme celui-ci ?
    Que le personnel acteur de la solution n'est pas familier des bases de données, et l'emplois de .xls je le justifierai par une méconnaissance ou habitude de la part de l’employé, ou pour la simple raison que la /les machine sur laquelle se fait le bouzin EST UN EXCELL EN VERSION 2003 ! ^^'

    La nécessité de s’appuyer sur un véritable système de gestion de base de données (SGBD) souffre-t-elle de quelconque contestation dans des cas de figure comme la gestion de données d’une pandémie ?
    On doit stocker les données, y naviguer, les manipuler, les partager, les surveiller ...et s'assurer de leur intégrité, qualité, la fiabiliser leur manipulation ...décomplexifier les opérations (en aparence).
    N'est-ce pas justement là la raison d'être du SGBD/R ?

    Citation Envoyé par Ryu2000 Voir le message
    C'est vrai que les gens n'aiment pas du tout le changement, ceux qui ont l'habitude d'Excel ne veulent pas changer de solution.
    oui et non : ce n'est pas le changement en soit qu'ils redoutent, mais l'énergie à fournir à nouveau pour réapprendre.
    Alors il y a une forme d'angoisse, d'apréhension, nourrit pas les idées reçu... qui fige l'individu sur ses acquis, et le pousse à repousser tout acteur montrant l'envie de le déplacer.
    problème social --> solution = pédagogie = "prendre le temps de parler avec"
    Pensez à utiliser les pouces d’appréciation, pour participer à la visibilité de l'apport d'un propos, ou l'intérêt que vous y prêtez... qu'il soit positif ou négatif.

  12. #12
    Membre extrêmement actif
    Citation Envoyé par Steinvikel Voir le message
    oui et non : ce n'est pas le changement en soit qu'ils redoutent, mais l'énergie à fournir à nouveau pour réapprendre.
    En attendant le résultat est le même, il y a des gens qui manipulent des fichiers Excel depuis des années, ils ont toujours travaillé comme ça, si tu leur propose une meilleure alternative ils vont refuser de l'utiliser. (en plus la nouvelle solution ne va pas fonctionner à la perfection dès le début, donc ils n'ont pas envie d'avoir de nouveaux problèmes)
    Il y a des grandes entreprises qui ont des méthodes de travail archaïque. Pour certains types de projets il existe des solutions meilleures qu'Excel.
    Keith Flint 1969 - 2019

  13. #13
    Membre éprouvé
    Mauvais usage
    Tant qu'on utilisera Excel pour ce qu'il n'est pas, c'est à dire une BDD, on aura des problèmes.

  14. #14
    Membre expérimenté
    Bonjour

    Citation Envoyé par bigjeff Voir le message
    J'ai travaillé avec des fichiers CSV et la dernière ligne indiquait le nombre de ligne de ce fichier.
    Oui ... mais non Un fichier CSV = une seule structure. Tu as un certain nombre de colonnes dans ton fichier CSV et, là, en dernière ligne, tu flingues la structure pour p.ex. juste mettre "860" qui serait le nombre de lignes du fichier.

    D'ailleurs, si c'est juste pour ça (le nombre de lignes); ce contrôle est des plus facile à mettre en œuvre par l'application qui charge ton fichier : ce programme devrait prévoir une bête fonction qui lirait le fichier comme si c'était un fichier texte et juste compter le nombre de lignes; puis, réouvrir le fichier pour l'importer cette fois et comparer le nombre avec le nombre de records insérés.

    Tu as raison sur l'idée d'avoir des contrôles additionnels mais pas comme ça, pas à la fin du fichier. Pourquoi pas un fichier à part, "contrôle.txt" avec un certains nombre d'indicateurs...

    Bonne journée.
    Christophe (cavo789)
    Mes scripts Open Source : https://github.com/cavo789

  15. #15
    Membre émérite
    Citation Envoyé par Ryu2000 Voir le message
    En attendant le résultat est le même, il y a des gens qui manipulent des fichiers Excel depuis des années, ils ont toujours travaillé comme ça, si tu leur propose une meilleure alternative ils vont refuser de l'utiliser. (en plus la nouvelle solution ne va pas fonctionner à la perfection dès le début, donc ils n'ont pas envie d'avoir de nouveaux problèmes)
    C'est exactement ça, il ont beaux fantasmer en parlant de telle ou telle solution à la pause café, ils sont démotivés d'avance dès lors qu'il y a la moindre horizontalité sur la courbe d'apprentissage... peu importe les gains à court et à long terme sur l'énergie dépensé.
    C'est d’ailleurs pour ça que beaucoup d'outils prennent l'avantage sur leur concurrents.
    Dès lors que le nouvel outil offre la possibilité de changer d'outil avec un maximum de changements "transparents" (sans conséquence), une résistance minimale est faite à l'adoption.

    Maintenant restons lucide : la manière de présenter le produit, de volontairement (ou non) omettre les points noirs... est un facteur déterminant au moins égal à tous ce dont on a parlé plus haut. ^^'
    Pensez à utiliser les pouces d’appréciation, pour participer à la visibilité de l'apport d'un propos, ou l'intérêt que vous y prêtez... qu'il soit positif ou négatif.

  16. #16
    Membre expérimenté
    on sait bien que cette pseudo pandémie est une vaste arnaque qui cache des choses bien plus inquiétantes à venir

  17. #17
    Membre confirmé
    Citation Envoyé par CaptainDangeax Voir le message
    Tant qu'on utilisera Excel pour ce qu'il n'est pas, c'est à dire une BDD, on aura des problèmes.
    D'autant qu'il y a Microsoft ACCESS pour aller bien au-delà des limites d'EXCEL...Mais c'est pas le même prix.

  18. #18
    Membre confirmé
    Citation Envoyé par stigma Voir le message
    on sait bien que cette pseudo pandémie est une vaste arnaque qui cache des choses bien plus inquiétantes à venir
    On en a pour au moins jusqu'au printemps 2021 selon le comité en charge du COVID19; mais je pense plutôt jusqu'au 1er trimestre 2022...

  19. #19
    Membre confirmé


    Les politiques d'austérité : à cause d'une erreur Excel ?

    ScienceEtonnante (https://www.youtube.com/channel/UCaN...wlsGF-KzAFThqA).

  20. #20
    Responsable
    Office & Excel

    Citation Envoyé par jpiotrowski Voir le message
    D'autant qu'il y a Microsoft ACCESS pour aller bien au-delà des limites d'EXCEL...Mais c'est pas le même prix.
    SQL Express de Microsoft, gratuit... Et je ne n'énumère pas ici tous les SGDB gratuits qui font très bien leur job
    "Plus les hommes seront éclairés, plus ils seront libres" (Voltaire)
    ---------------
    Mes remarques et critiques sont purement techniques. Ne les prenez jamais pour des attaques personnelles...
    Une fois pour toutes, je donne mon avis. Je ne vais pas le répéter à chaque message...
    Si je propose une solution générique sur votre solution spécifique, c'est parce que, fainéant de nature, je privilégie le réutilisable...
    Le VBA ne palliera jamais une mauvaise conception de classeur ou un manque de connaissances des outils natifs d'Excel...
    Ce ne sont pas des bonnes pratiques parce que ce sont les miennes, ce sont les miennes parce que ce sont des bonnes pratiques
    VBA pour Excel? Pensez D'ABORD en EXCEL avant de penser en VBA...
    ---------------

###raw>template_hook.ano_emploi###