Discussion :

[hary66]

Bonjour?

J'ai des machines qui génère des fichiers de données : principalement des températures et des erreurs horodatées.
Ces fichiers portent un nom formés par la date de récupération des données (lors du transfert de la machine vers un autre support numérique)
En première ligne du fichiers de données, on peut trouver le N° de série de la machine en question.

Je souhaiterais avoir un rapport d'essais généré automatiquement qui :
- Récupère les données de la machine correspondant au N° de série en question et de la dernière date de transfert des données.
-Le traitement des données se fait déjà actuellement, en partie du moins, à l'intérieur d'un classeur qui existe, mais je dois manuellement ouvrir, copier, puis coller les données dans ce classeur, puis sauvegarder sous....

Je voudrais que :
- la récupération des données se fasse automatiquement lors d'une requête (comment ?, peut être dès que de nouveaux fichiers apparaissent dans un dossiers ou je transfère tous les fichiers de données de toutes les machines, ce qui serait très pratique !) pour obtenir le rapport d'essais.

- Que le rapport d'essais soit nommé automatiquement en fonction des conditions de fonctionnement/déroulement de l'essai (que je pourrai lire dans les données récupérées) et du N° de série de la machine.

Je débute avec Excel365, et n'ai pris connaissance pour le moment que des tableaux structurés par le tuto de Pierre Fauconnier. J'ai aussi un peu maladroitement "bricolé" avec VBA pour voir ce que ça donnait, mais là je souhaiterais si possible partir sur des bases un peu plus étoffées que mes précédent "bricolages"

J'aimerais bien quelques pistes, car pour le moment, je ne sais pas par où commencer.

[78chris]

Bonjour

PowerQuery, intégré à Excel, pourrait certainement t'aider puisqu'il peut récupérer tous les fichiers d'un dossier et les traiter

[hary66]

Bon, j'essaie de faire un import de données avec power query mais je n'arrive pas à mes fins !

Voici ce que je veux, car après avoir mes données, je travaille dessus depuis le tableau structuré :


Et voici ce que j'obtiens :


Ce qui ne me va pas pour le traitement que je dois effectuer ensuite car je perds l'intitulé de mes colonnes !

[78chris]

RE

Il ne faut pas juste importer mais opter pour Combiner et modifier puis modéliser le traitement d'un fichier : cela s'appliquera à tous

Joins 2 fichiers extraits plus, si la disposition ou le nombre de colonnes est différent, le modèle de la synthèse

[hary66]

Votre demande concernant 2 fichiers ne m'est pas très claire. Vous voulez le .csv souce et le .xls de destinantion ?

D'autre par, j'ai regardé les conseils de Pierre Fauvcaonnier ici pour supprimer les données personnelles des propriétés du fichier et je ne vois pas comment faire.
Je vois bien diverses données critiques mais ne sait pas comment les supprimer !

[hary66]

Dans le tuto que je suivais sur PQ, je faisais : transformer les données.

Suivant votre conseil, je fais Combiner et transformer les données (vous écrivez Combiner et modifier ! )

Mais ensuite, je ne sais pas quoi faire

[78chris]

RE

Effectivement selon la version, la traduction change (Microsoft et ses traductions )

Sur 365 c'est bien Combiner et transformer les données

Il y a une arborescence avec une requête Transformer l'exemple de fichier

C'est cette requête qui va servir à modéliser et qu'il faut donc bien faire

Comme tu sembles débuter sur PowerQuery je t'ai proposé de joindre des fichiers 2 .csv et éventuellement l'excel voulu

Ton lien ne marche pas pour ton souci. Tu peux mettre tes fichiers dans un zip sur cjoint en mode privé et m'envoyer l'adresse par MP

[78chris]

RE

Peux-tu décrypter le nom de fichier : le début semble indiquer le 4 mars 2020, mais la suite c'est quoi ?

Tu parles de dernière date mais j'ai le même numéro de série et semble-t-il la même date

Ou bien la nature des 2 fichiers est différente

Bref il manque des explications

[hary66]

Chaque machine génère 2 fichiers récupérable sous format CSV.

Il sont nommés avec DATE_heure,minute,seconde_Numéro incrémental_R ou P
R pour indiquer le cycle de recharge de la machine
P pour indiquer le cycle d eproduction de la machine

Historiquement, ces données des .csv étaient copiées/collées dans 2 feuilles du classeu XL joint, en partie sous forme de tableaux structurés (suivant conseils de Pierre FAUCONNIER et améliorations très récentes suite à ma prise en mains d'XL).

[78chris]

RE

Y a t'il plusieurs fichiers par jour et il faut tenir compte de l'heure, du Numéro incrémental : j'ai besoin de comprendre comment on repère le dernier de chaque machine...

Tu parles de plusieurs machines et comme le numéro de série ne figure pas dans le nom, as-tu un dossier par machine ?

J'ai regardé de plus près ce que tu en fait et a priori tu sépares R et F pour le traitement et ai donc compris le R et le F

[hary66]

Il peut y avoir plusieurs fichiers par jours, surtout si on travaille sur plusieurs machines.

Les machines peuvent être différentiées par le N° de série qui se trouve sut la 1ére ligne du fichier .csv.

En effet, on "rangeait" le fichier R sur une feuille du fichier XL et le F dans une autre feuille car les machines ont des comportements différent dans ces 2 différentes phases et on doit les analyser pour voir si tout se déroule correctement dans la phase R puis dans la phase F

L'ideal serait qu'on puisse mettre tous les CSV des différentes macine dans un même dossiers et que XL fasse le tri en fonction des dates_heures ainsi que du N° de série qui se trouve sur la première ligne des .csv.
Puis que XL génère un fichier XL par machines et par date_heure

Puis que le fichier .xls soit nommé en fonction du N° de série et de certaines conditions de température de fonctionnement récupérée (issues des .csv transférés)

[78chris]

RE

Ta solution suppose qu'on prenne le contenu, toutes les lignes de tous les fichiers, pour y lire le numéro de série, avant de pouvoir définir ensuite quel le dernier de chaque machine : si les fichiers sont nombreux et volumineux ce n'est pas idéal

Combien de fichiers maxi contiendra le dossier (pour les lignes j'ai 367 lignes avec les 2 fichiers cumulés)

Je vais m'absenter et reprendrai ce soir

[hary66]

Il faudrait que XL PQ ne prenne que ceux qui n'ont pas été traités, donc les derniers : et là comme les noms des .CSV indiquent leurs dates_heures, on connait facilement les derniers interessants.

L'idéal serait que dès que 2 fichiers .csv R et F sont nouvellement enregistrés dans le dossier, XL "mouline" automatiquement le fichier d'analyse, le nomme et le range à la bonne place ( que je n'ai pas encore décidée)

[78chris]

RE

PowerQuery, comme son nom l'indique, est un requêteur.

Il lit le contenu des fichiers et le traite (on peut y calculer les éléments que tu utilises dans les Calcul-validation) puis restitue le résultat à Excel

On ne n'a pas de moyen de savoir si des fichiers ont été traités ou pas. On peut filtrer les fichiers à traiter en fonction de critères (le nom de fichier peut être utilisé)

PowerQuery n'agit pas sur les fichiers, que ce soit les modifier, les renommer ou les déplacer

Seul VBA peut faire cela. VBA peut interagir avec PowerQuery

[hary66]

Quelle est l'attitude à adopter donc si je souhaite faire évoluer incrémentalement au fur et à mesure de mes connaissances XL, le traitement automatisé de mes données ?

Pour le moment j'essayais de récupérer mes données depuis 2 fichiers.csv.

Et le soucis présent est que, comme vous pouvez le voir dans le .zip communiqué, c'est que les 2 premières lignes de mes .csv contiennent de données que je souhaite importer dans mon classeur XL mais ne doivent pas entrer dans le tableaux structuré du classeur, car sinon, le traitement déja mis en place ne fonctionne plus !

PQ rajoute aussi le nom du fichier dans la première colonne du tableau. Pour cela, je peux m'en accomoder en adaptant toutes mes formules, même si cela est fort désagréable !

[78chris]

RE

En traitant correctement le fichier dans PowerQuery, on peut récupérer le numéro de série dans une colonne et conserver les autres en-tête : mon idée était d'assembler les fichiers puis de synthétiser ensuite par numéro de série et type (R ou F), voire d'effectuer tous les calculs dans PowerQuery pour n'avoir que les synthèses et les graphiques à finaliser (ce qui serait probablement plus léger des les formules matricielles).

Dans le mesure où on ne regarde pas n synthèses en même temps, on pourrait d'ailleurs n'en avoir qu'une avec choix du numéro de série et du type qui afficherait la synthèse correspondante.

Compte tenu de nos échanges, je ne sais plus trop si ce process convient d'autant que tu sembles figé sur tes formules alors qu'avec 365, les adapter est très facile.

Un conseil : attache-toi au temps et pas aux numéros de lignes.

Je t'envoie par MP le lien vers un des classeurs que j'ai travaillé : tu peux adapter le chemin et utiliser Données, Actualiser Tout

[hary66]

Je ne suis figé en rien !

C'est juste que jusqu'à maintenant, j'ai fait comme j'ai pu !, en fonction de ma situation de débutant XL)

Maintenant, j'ai vu les tableaux structurés, un peu les formules et quelques fonctions, un soupçon de PQ, et maintenant je suis en train de regarder du coté de VBA.

Sans aucune notion de tout cela, je ne peux même pas estimer la solution qui me convient le mieux.

Je suis obligé de solliciter votre aide au moindre besoin. Et vous m'orienter sans doute dans la direction la plus accessible dans l'immédiat. Mais comme mon projet d'automatisation est sans doute un peu ambitieux pour un débutant, la solution immédiate proposée peu s"avérer au final inadaptée ou limitée et exigeant à passer vers une autre solution.

C'est toujours comme ça quand on débute ! On patine toujours un peu !

Je vais regarder ce que vous m'avez envoyé demain, car ce soir j'ai la tête farcie !

Edit : J'ai finalement jeté un œil à ce que vous m'avez envoyé, mais je ne comprends pas ce que je dois faire ?

[78chris]

Re

...

Edit : J'ai finalement jeté un œil à ce que vous m'avez envoyé, mais je ne comprends pas ce que je dois faire ?

adapter le chemin et utiliser Données, Actualiser Tout

Cet onglet peut remplacer tes 2 tableaux copiés/collés

Si tu regardes dans PowerQuery tu verras les requêtes évoquées au #4 et #7

[hary66]

Bonsoir 78chris

J'ai réussi à faire fonctionner le bignou !

J'ai modifié la cellule nommée "Dossier" de la feuille "Résultats" et fait "actualiser tout" et en effet ça a été chercher les données qu'il y avait dans 2 fichiers qu'il y avait dans le dossier.

J'ai tenté de comprendre comment vous avez fait cela, mais impossible. Je reste "étanche"

Je ne vois pas comment vous avez rajouté une colonne pour y déplacer le N° de série.

Je comprends que cette manip rapatrie toute les données de plusieurs fichiers du dossier du chemin indiqué, rangeant ces données à la suite les unes des autres.

Très honnêtement, ça ne m'arrange pas trop de les avoir toutes dans le même tableau.

Je dois reconnaitre et analyser ce qui ce passe dans chaque phase (2 phases qui génèrent 2 fichiers .csv différents). Une fois les fichier joint, ce n'est sans doute pas impossible, mais plus délicat.

Je remarque que vous avez rangé les données un peu comme dans une base de données temporelle ( time series database, style Influxdb, solution que j'avais explorée fut un temps !)

[78chris]

Bonjour

Il est souvent plus facile de de taper dans une même base et en extraire ce que l'on veut.

Ici une colonne indique F ou R donc on peut utiliser des critères et, comme je l'ai dit on pourrait même calculer, dans PowerQuery.

Le numéro de série est récupéré à l'étape 3 de la requête Transformer l'exemple de fichier à partir de raw_data (qui modélise ce qui sera fait sur chaque fichier du dossier) avec l'ajout d'une colonne contenant la formule

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

= Source[Column2]{0}

qui signifie 1ère ligne (cela commence à 0) de la colonne 2 de la Source

Je pense ton process et ton besoin sont complexes pour quelqu'un qui débute, qu'on utilise VBA, PowerQuery ou des formules (ou un mix des 3).

Par ailleurs si repérer les derniers fichiers est relativement facile, être sûr qu'il n'y en a pas plus plus de 2 non traité entre 2 traitements l'est moins.

Je crois qu'il faut bien mettre à plat cet aspect du remplissage du dossier, de son traitement, de sa purge éventuelle... Ces aspects nécessite de coder mais il faut que tu travailles un cahier des charges précis