[HeavyWeather Pro] Lecture d'un fichier DAT

**Mika56** · 26/02/2010, 00h12

Salut,

Bon, avant tout je tiens à m'excuser auprès des modérateurs, mais je ne vois pas du tout (j'ai fait 5 fois le tours des forums) où placer ce sujet.

Bref, je cherche à lire un fichier dat. Ce fichier contient l'historique des données de la station météo, et sont recueillis par le logiciel HeavyWeather Pro.

C'est bien beau, mais je voudrais bien exploiter les résultats.
Je saurais le faire en PHP, mais avant tout, j'essaye de lire ces données, en normal, sans utiliser de langage en particulier.

Sur le net, j'ai trouvé ça :

HeavyWeatherPro V1.1
La Crosse WS-3610 weather station

Each row of data is stored in 56 byte chunks starting from the beginning of
the file (no header).

ROW
OFFSET Type Name Unit
------ --------- ---------------- -----
00 Double [8] Timestamp days from 12/30/1899 00:00:00 (GMT)
08 Float [4] Abs Pressure hectopascals (millibars)
12 Float [4] Relative Pressure hectopascals (millibars)
16 Float [4] Wind Speed meters/second
20 ULong [4] Wind Direction see below
24 Float [4] Wind Gust meters/second
28 Float [4] Total Rainfall millimeters
32 Float [4] New Rainfall millimeters
36 Float [4] Indoor Temp celsius
40 Float [4] Outdoor Temp celsius
44 Float [4] Indoor Humidity %
48 Float [4] Outdoor Humidity %
52 ULong [4] unknown - (Value is always 0)

Donc, si j'ai bien comprit, ce fichier est à lire en mode hexadécimal. Soit, j'utilise le logiciel HxD pour le lire.
Je vous sors donc les 52 premières données :

2E D8 82 2D ED A4 E3 40 9A 59 74 44 67 A6 75 44 CD CC CC 3F 08 00 00 00 00 00 40 40 00 00 00 00 00 00 00 00 00 00 8C 41 98 99 29 41 00 00 50 42 00 00 AE 42 00 00 00 00 33 33 33 33 ED A4 E3 40 9A 59 74 44 67 A6 75 44 66 66 46 40 0B 00 00 00 33

Ce qui donne, en incompréhensible (ouverture avec bloc notes)

.Ø‚-í¤ã@šYtDg¦uDÍÌÌ?......@@..........ŒA˜™)A..PB..®B....3333í¤ã@šYtDg¦uDffF@....3

Enfin, ce qui nous intéresse, c'est l'hexadécimal.
Donc, je prends les données de 8 à 12, la pression absolue : 9A 59. J'additionne les deux en hexadécimal : F3, soit 243. Un peu basse la pression...
Bon, alors c'est pas l'addition, concaténons-les : 9A59, soit 39513. Wahou, la pression est haute ^^

Bref, j'arrive vraiment pas à lire ces fichiers, et je le voudrais vraiment

Une idée ?

Mika.

**pitipoisson** · 27/02/2010, 20h26

Bonjour,

Envoyé par Mika56

Donc, si j'ai bien comprit, ce fichier est à lire en mode hexadécimal.

Qu'est-ce qui te fais dire ça ? Je ne vois pas très bien...

Ne serait-ce pas simplement un fichier en binaire ?
Le genre de chose qui se lit bien avec un petit programme C (e.g. http://melem.ftp-developpez.com/tuto...s/fichiers.pdf), mais des outils doivent déjà exister, comme la fonction readBin() dans R, etc.

**Mika56** · 27/02/2010, 20h53

Salut,

Merci de ta (votre ? Moi je sais pas, j'estime que sur un forum, le vousvoement n'a pas trop sa place) réponse.
Toute fois, j'ai pas vraiment trouvé, parce que si j'ouvre le fichier en mode binaire, j'obtiens le texte "incompréhensible".
Si jamais ça aide, le fichier est là.
Toute fois, il y a un logiciel Delphi (= Pascal nan ?) qui utilise cette méthode (premier quote), donc l'exe et les sources sont disponibles ici (liens inversés), mais ne codant pas Delphi, j'ai peine à comprendre (et c'est pas faute d'avoir essayé :p)

Mika.

**PANORAMIC** · 01/03/2010, 14h51

Voici le début de ton fichier history.dat converti en ASCII, ce qui est beaucoup plus lisible (il comporte au total 3780 lignes)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
1;22/02/2010 09:53:00;977,4;982,6;10,6;87;17,5;52;8,5;5,8;180,0;10,2;10,8;0,0;0,0
2;22/02/2010 09:54:00;977,4;982,6;10,6;88;17,5;52;8,7;11,2;247,5;9,2;25,6;0,0;0,0
3;22/02/2010 09:55:00;977,4;982,6;10,5;88;17,5;52;8,6;9,7;247,5;9,3;16,6;0,0;0,0
4;22/02/2010 09:56:00;977,4;982,6;10,5;88;17,5;52;8,6;11,2;315,0;9,1;23,4;0,0;0,0
5;22/02/2010 09:57:00;977,5;982,7;10,5;88;17,5;52;8,6;7,2;225,0;9,8;15,8;0,0;0,0
6;22/02/2010 09:58:00;977,5;982,7;10,5;88;17,5;52;8,6;14,4;247,5;8,6;23,8;0,0;0,0
7;22/02/2010 09:59:00;977,5;982,7;10,5;87;17,5;52;8,4;10,8;225,0;9,1;10,8;0,0;0,0
8;22/02/2010 10:00:00;977,5;982,7;10,5;87;17,5;52;8,4;3,6;135,0;10,5;8,3;0,0;0,0
9;22/02/2010 10:01:00;977,6;982,8;10,5;87;17,6;52;8,4;10,1;247,5;9,2;13,3;0,0;0,0
10;22/02/2010 10:02:00;977,6;982,8;10,5;87;17,6;52;8,4;20,5;225,0;8,0;25,9;0,0;0,0
11;22/02/2010 10:03:00;977,6;982,8;10,5;87;17,6;52;8,4;7,9;247,5;9,6;14,8;0,0;0,0
12;22/02/2010 10:04:00;977,6;982,8;10,5;87;17,6;52;8,4;8,6;225,0;9,5;20,2;0,0;0,0
13;22/02/2010 10:05:00;977,7;982,9;10,5;87;17,6;52;8,4;11,9;225,0;9,0;11,9;0,0;0,0
14;22/02/2010 10:06:00;977,7;982,9;10,5;86;17,6;52;8,3;18,4;225,0;8,2;29,9;0,0;0,0
15;22/02/2010 10:07:00;977,8;983,0;10,5;86;17,6;52;8,3;12,2;202,5;8,9;24,8;0,0;0,0
16;22/02/2010 10:08:00;977,8;983,0;10,5;86;17,6;52;8,3;6,8;225,0;9,9;12,2;0,0;0,0
17;22/02/2010 10:09:00;977,8;983,0;10,6;86;17,6;52;8,4;5,8;135,0;10,2;14,4;0,0;0,0
18;22/02/2010 10:10:00;977,8;983,0;10,6;86;17,6;52;8,4;6,5;225,0;10,1;6,5;0,0;0,0
19;22/02/2010 10:11:00;977,9;983,1;10,5;86;17,6;52;8,3;5,4;225,0;10,2;7,2;0,0;0,0
20;22/02/2010 10:12:00;977,9;983,1;10,6;86;17,6;52;8,4;12,2;225,0;9,0;20,2;0,0;0,0
21;22/02/2010 10:13:00;977,9;983,1;10,6;86;17,6;52;8,4;9,7;247,5;9,4;22,0;0,0;0,0
22;22/02/2010 10:14:00;977,9;983,1;10,6;86;17,7;52;8,4;6,8;225,0;10,0;14,4;0,0;0,0
23;22/02/2010 10:15:00;978,0;983,2;10,6;86;17,7;52;8,4;11,5;225,0;9,1;13,0;0,0;0,0
24;22/02/2010 10:16:00;978,0;983,2;10,5;86;17,7;52;8,3;10,1;225,0;9,2;17,3;0,0;0,0
25;22/02/2010 10:17:00;978,1;983,3;10,5;86;17,7;52;8,3;16,2;202,5;8,4;16,2;0,0;0,0
26;22/02/2010 10:18:00;978,0;983,2;10,5;86;17,7;52;8,3;4,7;135,0;10,5;4,7;0,0;0,0
27;22/02/2010 10:19:00;978,1;983,3;10,5;86;17,7;52;8,3;9,0;247,5;9,4;21,2;0,0;0,0
28;22/02/2010 10:20:00;978,1;983,3;10,6;86;17,7;52;8,4;5,4;225,0;10,3;9,0;0,0;0,0
29;22/02/2010 10:21:00;978,1;983,3;10,5;86;17,7;52;8,3;5,0;225,0;10,3;5,0;0,0;0,0
30;22/02/2010 10:22:00;978,2;983,4;10,5;86;17,7;52;8,3;11,9;225,0;9,0;23,8;0,0;0,0
31;22/02/2010 10:23:00;978,2;983,4;10,5;86;17,7;52;8,3;4,0;135,0;10,5;4,0;0,0;0,0
32;22/02/2010 10:24:00;978,2;983,4;10,5;86;17,7;52;8,3;9,4;225,0;9,4;18,7;0,0;0,0
33;22/02/2010 10:25:00;978,3;983,5;10,5;86;17,8;52;8,3;10,1;225,0;9,2;27,4;0,0;0,0
34;22/02/2010 10:26:00;978,3;983,5;10,5;86;17,8;52;8,3;8,6;247,5;9,5;20,5;0,0;0,0

Signification des champs:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

#;Date;Abs Pressure;Relative Pressure;Ext. temperature (°C);Ext. humidity (%RH);Int. temperature (°C);int. humidity (%RH);Point de rosée (°C)Vitesse du vent (km/h);Direction du vent (°);WindChill Temp (°C);Rafale vent (km/h);Pluie cumulée (mm);Pluie relative (mm)

**pitipoisson** · 01/03/2010, 15h09

Je serais intéressé de savoir ce que tu as utilisé...

**pitipoisson** · 01/03/2010, 16h42

J'arrive à un résultat assez équivalent à PANORAMIC (sauf que j'ai pas formaté les dates) avec un petit programme en C, écrit comme un porc (pas de vérification d'existence des fichiers, etc. ; à utiliser avec beaucoup de précaution, il ne demande pas de confirmation pour écraser quelque chose)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
/* HWp2csv.c: conversion from HeavyWeather Pro binary format to csv */
#include <stdio.h>

main ()
{
    /* Declaration of fields */
    double Td ;                 /* Timestamp days from 12/30/1899 00:00:00 (GMT) */
    float aP ;                  /* Abs Pressure hectopascals (millibars) */
    float rP ;                  /* Relative Pressure hectopascals (millibars) */
    float wS ;                  /* Wind Speed meters/second */
    unsigned int wD ;           /* Wind Direction see below */
    float wG ;                  /* Wind Gust meters/second */
    float tR ;                  /* Total Rainfall millimeters */
    float nR ;                  /* New Rainfall millimeters */
    float iT ;                  /* Indoor Temp celsius */
    float oT ;                  /* Outdoor Temp celsius */
    float iH ;                  /* Indoor Humidity % */
    float oH ;                  /* Outdoor Humidity % */
    unsigned int u ;            /* unknown - (Value is always 0)  */

    /* Variables for files */
    FILE *infile ;
    FILE *outfile ;
    char infilename[20] ;
    char outfilename[20] ;

    /* Input file? */
    fprintf(stdout, "Fichier d'entrée : ") ;
    fscanf(stdin, "%s", infilename) ;
    infile = fopen(infilename, "rb") ; /* read mode for a binary flow */

    /* Output file? */
    fprintf(stdout, "Fichier de sortie : ") ;
    fscanf(stdin, "%s", outfilename) ;
    outfile = fopen(outfilename, "w") ; /* write mode in ASCII */

    while (! feof(infile))
    {
        /* reading the binary flow */
        fread(& Td, sizeof(double), 1, infile) ;
        fread(& aP, sizeof(float), 1, infile) ;
        fread(& rP, sizeof(float), 1, infile) ;
        fread(& wS, sizeof(float), 1, infile) ;
        fread(& wD, sizeof(unsigned int), 1, infile) ;
        fread(& wG, sizeof(float), 1, infile) ;
        fread(& tR, sizeof(float), 1, infile) ;
        fread(& nR, sizeof(float), 1, infile) ;
        fread(& iT, sizeof(float), 1, infile) ;
        fread(& oT, sizeof(float), 1, infile) ;
        fread(& iH, sizeof(float), 1, infile) ;
        fread(& oH, sizeof(float), 1, infile) ;
        fread(& u, sizeof(unsigned int), 1, infile) ;

        /* ASCII formated output */
        fprintf(outfile,
                "%f,%f,%f,%f,%u,%f,%f,%f,%f,%f,%f,%f,%u\n",
                Td, aP, rP, wS, wD, wG, tR, nR, iT, oT, iH, oH, u) ;
    }
    
    /* closing files */
    fclose(infile) ;
    fclose(outfile) ;
}

Il s'utilise (après compilation évidemment) en ligne de commande, de préférence dans le répertoire où se situe le fichier à convertir.

Bien sûr plein d'améliorations peuvent être apportées, c'est juste pour l'exemple.

**PANORAMIC** · 02/03/2010, 10h30

C'est exactement ça, mais j'ai utilisé le source Delphi que Mika56 nous a indiqué.
La déclaration des données est dans une structure de type:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
  TDataMeteoRec=packed record
      Date            :TdateTime;  // 8 bytes  Delphi TIME
      AbsPressure     :Single;     // 4 bytes  HPa
      RelativePressure:Single;     // 4 bytes  Hpa
      WindSpeed       :Single;     // 4 bytes  m/s
      WindDirection   :LongWord;   // 4 bytes
      WindGust        :Single;     // 4 bytes  m/s
      AbsoluteRain    :Single;     // 4 bytes  mm
      RelativeRain    :Single;     // 4 bytes  mm

      TemperatureInt  :Single;     // 4 bytes °C
      TemperatureExt  :Single;     // 4 bytes °C
      HumidityIn      :Single;     // 4 bytes %RH
      HumidityOut     :Single;     // 4 bytes %RH
      NotUsed         :Single;     // 4 bytes
  end;

Et voila l'écriture en ASCII de la ligne d'indice k:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
      S:=Format('%d',[k-Min+1])+ Sep +
         DateTimeToStr(DataMeteoRec[k-1].Date) + Sep +
         Format('%2.1f',[DataMeteoRec[k-1].AbsPressure]) + Sep +
         Format('%2.1f',[DataMeteoRec[k-1].RelativePressure]) + Sep +
         Format('%2.1f',[DataMeteoRec[k-1].TemperatureExt]) + Sep +
         Format('%2.0f',[DataMeteoRec[k-1].HumidityOut]) + Sep +
         Format('%2.1f',[DataMeteoRec[k-1].TemperatureInt]) + Sep +
         Format('%2.0f',[DataMeteoRec[k-1].HumidityIn]) + Sep +
         Format('%2.1f',[ConvertToDewPoint(DataMeteoRec[k-1].TemperatureExt,DataMeteoRec[k-1].HumidityOut)])+ Sep ;

      D:=DataMeteoRec[k-1].WindSpeed*3.6;
      If D<=180 then
      begin
        S:=S+Format('%2.1f',[D])+ Sep;
        S:=S+Format('%2.1f',[DataMeteoRec[k-1].WindDirection*22.5]) + Sep ;
        S:=S+Format('%2.1f',[ConvertToWindChill(DataMeteoRec[k-1].TemperatureExt,D)]) + Sep;
      end
      else
      begin
        S:=S+'--;';
        S:=S+'--;';
        S:=S+'--;';
      end;


      D:=DataMeteoRec[k-1].WindGust*3.6;
      If D<=180 then
       S:=S+Format('%2.1f',[D])+Sep
      else
       S:=S+'--;';


      S:=S+Format('%2.1f',[DataMeteoRec[k-1].AbsoluteRain])+ Sep +
           Format('%2.1f',[DataMeteoRec[k-1].RelativeRain]);


      Writeln(F,S);

Mais j'aimerai que Mika56 se manifeste et pose des questions, car c'est lui qui a posé ce problème de lecture du fichier history.dat
Je suis prêt à aller beaucoup plus loin dans cette gestion de données météo. Courbes à tracer, statistiques ???

**Neoptoleme** · 24/06/2010, 23h15

Bonjour,
je profite de cette discussion pour demander un petit renseignement sur le fonctionnement de ce codage (Delphi ?)
Mon besoin est de modifier une valeur (total pluie) mais je ne vois pas ou elle se trouve et comment elle est codée
Je vous remercie de me répondre
Néo

**pitipoisson** · 25/06/2010, 11h02

Bonjour,

Dans un fichier binaire, les données sont positionnées les unes après les autres et occupent un nombre définit d'octets (cf. entre [...] dans le premier message).

La première valeur de total pluie (réel sur 4 octets) se trouve des octets 29 à 32.
Comme une ligne totalise 56 octets, la suivante se trouve des octets 85 (=56+29) à 88, etc.

Si tu souhaites les modifier directement dans le fichier binaire, il faudra écrire un programme exprès pour.

Sinon, dans R, il suffit de travailler sur la colonne correspondante (avant dernière colonne dans l'exemple de PANORAMIC, 7e dans le miens).
Les fichiers textes obtenus peuvent être chargés avec les fonctions read.csv2() (PANORAMIC) ou read.csv() (mon exemple).

Edit: erreur de plages d'octets

**Neoptoleme** · 25/06/2010, 12h48

Bonjour et merci pitipoisson pour ta réponse
Bon WE
Néo

**Mika56** · 28/06/2010, 17h40

Salut,

Vous n'allez jamais me croire, mais je n'ai jamais reçu de mail de la part du forum pour me prévenir des réponses...
Parlant par hasard de ça sur IRC, j'ai cherché à nouveau sur Google et je suis retombé sur mon topic...
En tout cas, je peux vous dire que le code de pitipoisson est bon

Je t'en remercie, ça va beaucoup m'aider

Mika.

Ps :

[HeavyWeather Pro] Lecture d'un fichier DAT

Autres langages

Discussions similaires

Partager

Partager