Récupérer données d'un fichier txt (Open Data)

Version imprimable

24/11/2013, 15h02
Macmachi

Récupérer données d'un fichier txt (Open Data)

J'ai supprimé tous les doublons, donc je repose ma question :

Je cherche à récupérer certaines données gouvernementales (Open Data) de ce fichier txt en ligne (mis à jour toutes les 10min) :
http://data.geo.admin.ch.s3.amazonaw...dex/VQHA69.txt

Pour ensuite les afficher dans Visual Basic de façon propre et actualisé toutes les 10 minutes.

Si quelqu'un peut m'aider ou me donner une piste car je ne sais pas par où commencer! Je vous en serais reconnaissant. :ccool:

Une ébauche...
avec un WebBrowser, un listbox, un commandbutton

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
Dim fso As Object, WS As Object, f, ST$
Const ForReading = 1, ForWriting = 2
 
Private Sub Command1_Click()
 
    'affiche la page et enregistre le fichier
    WebBrowser1.Navigate "http://data.geo.admin.ch.s3.amazonaws.com/ch.meteoschweiz.swissmetnet-foehnindex/VQHA69.txt"
    WebBrowser1.Visible = True
    Do While WebBrowser1.ReadyState <> READYSTATE_COMPLETE
        DoEvents
    Loop 'Attend la fin du chargement
    Set fso = CreateObject("Scripting.FileSystemObject")
    Set WS = CreateObject("WScript.Shell")
    Set f = fso.OpenTextFile("C:\Wb.txt", 2, True)
    If WebBrowser1.Busy = False Then
        ST = WebBrowser1.Document.documentElement.innerHTML
        f.Write FindAndWrite(ST)
        f.Close
    End If
 
    'insère les lignes dans la list
    Set f = fso.OpenTextFile("C:\Wb.txt", ForReading)
    While Not f.AtEndOfStream
        List1.AddItem (f.ReadLine)
    Wend
    f.Close
 
End Sub
 
Private Function FindAndWrite(sText) As String
 
  Dim Ret$, tb() As String, I%, Trouve As Boolean
  tb = Split(sText, vbNewLine, , vbTextCompare)
  Ret = ""
  Trouve = False
  For I = LBound(tb) To UBound(tb)
    If UCase$(Mid$(tb(I), 1, 5) = "<BODY") Then Trouve = True
     If Trouve Then Ret = Ret + tb(I) + vbNewLine
     If UCase$(Mid$(tb(I), 1, 7) = "</BODY>") Then Exit For
  Next I
  FindAndWrite = Ret
 
End Function

A toi de continuer avec ça, il y a surement mieux...

Salut
Une autre approche, sur un Form, 2 CommandButton, 1 TextBox et 1 Timer.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
Option Explicit
 
'nécessite d'activer la référence Microsoft Internet Controls
Dim IE As InternetExplorer
'nécessite d'activer la référence Microsoft HTML Objects Library
Dim Doc As HTMLDocument
Dim AdrssSite As String
 
Dim DizaineMinutes As Integer
Dim ExitProg As Boolean
 
Private Sub Form_Load()
Timer1.Enabled = False
Command1.Move 60, 120, 1875, 315
Command1.Caption = "Scan immédiat"
Command2.Move 2040, 120, 1875, 315
Command2.Caption = "Scanner"
'Text1.ScrollBars = 2 '<-------  A faire en design
Text1.Move 60, 540, 9015, 5775
Text1.Text = ""
Me.Height = 6960: Me.Width = 9405
 
 
ExitProg = False
AdrssSite = "http://data.geo.admin.ch.s3.amazonaws.com/ch.meteoschweiz.swissmetnet-foehnindex/VQHA69.txt"
'Timer1.Interval = 60000 '1 Mn
Timer1.Interval = 5000 '5 Sc <---- pour la démo ----
End Sub
Private Sub Form_Unload(Cancel As Integer)
Timer1.Enabled = False
ExitProg = True
If TypeName(Doc) <> "Nothing" Then Doc.Close: Set Doc = Nothing
If TypeName(IE) <> "Nothing" Then Set IE = Nothing
End Sub
 
Private Sub Command2_Click()
If Timer1.Enabled = True Then
    Command2.Caption = "Scanner"
    Timer1.Enabled = False
    Else
    Command2.Caption = "Scan en cours"
    DizaineMinutes = 0
    RecupInfos
    Timer1.Enabled = True
End If
End Sub
Private Sub Timer1_Timer()
RecupInfos '<---- A supprimer pour ton cas
' 5 lignes à libérer pour ton cas
'DizaineMinutes = DizaineMinutes + 1
'If DizaineMinutes = 9 Then
'    DizaineMinutes = 0
'    RecupInfos
'End If
End Sub
Private Sub Command1_Click()
RecupInfos
End Sub
 
Private Sub RecupInfos()
On Error GoTo Gesterr
Text1.Text = "Connexion ...."
 
Set IE = New InternetExplorer
IE.navigate AdrssSite
Do While IE.readyState <> READYSTATE_COMPLETE
    DoEvents
    If ExitProg = True Then Exit Sub
Loop
 
Text1.Text = "Récuperaion du document...."
Do While IE.document.readyState <> "complete"
    DoEvents
    If ExitProg = True Then Exit Sub
Loop
 
Set Doc = IE.document
Text1.Text = Now & vbNewLine & vbNewLine & Doc.childNodes(1).innerText
 
Doc.Close: Set Doc = Nothing
Set IE = Nothing
Exit Sub
 
Gesterr:
If TypeName(Doc) <> "Nothing" Then Doc.Close: Set Doc = Nothing
If TypeName(IE) <> "Nothing" Then Set IE = Nothing
Text1.Text = "Probléme inattendu"
End Sub

Citation:

ensuite les afficher dans Visual Basic de façon propre

Cela devra faire partie d'une autre discussion.

26/11/2013, 08h16
petit rabot

Citation:

Envoyé par ProgElecT

Salut
Une autre approche, sur un Form, 2 CommandButton, 1 TextBox et 1 Timer.

Après essais, la version de ProgElecT est vraiment beaucoup plus pro que la mienne :oops:
:ccool::ccool:
27/11/2013, 14h29
Macmachi

merci beaucoup.

Je vais regarder ça mais j'ai vais peut-être d'abord passer par une base de donnée. D'ailleurs je vais créer un sujet sur le forum approprié pour demander conseil.

Encore merci :ccool:
27/11/2013, 21h02
Macmachi

Je n'arrive pas à faire fonctionner ton code j'ai pleins d'erreurs de compilation :oops:

Je ferais un screen des erreurs ce week-end, je suis un peu débordé là :?

Je suppose que cela vient de
Code:

1 2 3 4 'nécessite d'activer la référence Microsoft Internet Controls Dim IE As InternetExplorer 'nécessite d'activer la référence Microsoft HTML Objects Library Dim Doc As HTMLDocument
Dans le projet, Alt+P --> Alt+R pour faire les références.

27/11/2013, 21h11
Macmachi

je vais voir cela mais je n'ai pas trouvé l'objet CommandButton :oops:
J'utilise VB 2013 mais cela ne devrait pas changer grand chose par rapport à VB6 surtout qu'ils n'ont pas dû enlever des fonctions aussi capitales.
27/11/2013, 22h37
ProgElecT

Citation:

Envoyé par Macmachi

je vais voir cela mais je n'ai pas trouvé l'objet CommandButton :oops:
J'utilise VB 2013 mais cela ne devrait pas changer grand chose par rapport à VB6 surtout qu'ils n'ont pas dû enlever des fonctions aussi capitales.

:calim2: ben tu n'es pas sur le bon forum.

Tous les renseignements donnés ici ne te seront pas d'une grande utilité.
Pourquoi ne pas avoir créé la discussion dans le forum VB.Net (VB Express,VB 2003 et supérieur).
Tu as un cours super de Philippe Lasserre pour le langage que tu veux pratiquer.
28/11/2013, 00h01
Macmachi

Il y a tellement de forums différents concernant visual basic j'ai pris celui qui me paraissait le plus actif. :calim2:

Merci pour les tutos je vais regarder.
28/11/2013, 16h12
Aniki

Je doute que les développeurs VB.NET apprécient que tu leur dise qu'ils sont moins actifs que les vieux routards de VB6... :P
En tout cas, c'était bien envoyé ! :lol:

Citation:

Envoyé par Aniki

Je doute que les développeurs VB.NET apprécient que tu leur dise qu'ils sont moins actifs que les vieux routards de VB6... :P
En tout cas, c'était bien envoyé ! :lol:

C'était un beau tacle. :lol: (Et au passage, Macmachi ôte-toi tout de suite l'idée que Vb.NET c'est comme VB6, ça n'a rien à voir. ;) (Comme le montre le cours de Plasserre que l'on t'a proposé))

Sinon Macmachi pour te montrer en exemple, tu as un Form qui contient un WebBrowser et une TextBox :

http://zupimages.net/up/13/48/a8p8.png

Au chargement du Form (Form1_Load), tu dis à ton webbrowser d'aller à cette adresse : http://data.geo.admin.ch.s3.amazonaw...dex/VQHA69.txt
Code:

1 2 3 4 5 6 Private Sub Form1_Load(sender As Object, e As EventArgs) Handles MyBase.Load WebBrowser1.Navigate("http://data.geo.admin.ch.s3.amazonaws.com/ch.meteoschweiz.swissmetnet-foehnindex/VQHA69.txt") End Sub
Et dans l'evenement DocumentCompleted (evenement qui indique que le webbrowser à fini de charger la page web), tu récupères le texte de la page :
Code:

1 2 3 4 5 6 Private Sub WebBrowser1_DocumentCompleted(sender As Object, e As WebBrowserDocumentCompletedEventArgs) Handles WebBrowser1.DocumentCompleted TextBox1.Text = WebBrowser1.Document.Body.InnerText End Sub
Ce qui donne comme résultat :

http://zupimages.net/up/13/48/5j2j.png

Dans cet exemple je l'ai placé dans une textbox pour un rendu visible, mais tu peux l'enregistrer dans une variable, une liste, ce que tu veux, pour en faire ce que tu veux.

29/11/2013, 12h01
Macmachi

Merci beaucoup pour vos réponses. :P
Mais par exemple si je veux récupérer le 23.7 de la station météo ABO (voir sur ton image).

Je vois pas comment lui dire de mettre que cela dans la variable. 8O

Tu peux splitter le texte à chaque retour chariot, afin d'avoir un tableau de string qui contient une ligne par item
Ensuite tu fais ton traitement selon tes critères "ABO" ou autre, et une fois ta ligne trouvée, tu la splittes selon le séparateur "|" qu'ils utilisent et te place à l'index dont tu veux récupérer la valeur (ici index 2 pour la valeur 23.7)
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 Dim taValeur As String For Each line As String In WebBrowser1.Document.Body.InnerText.Split(CChar(vbCrLf)) Select Case True Case line.Contains("ABO") taValeur = line.Split(CChar("|"))(2) Case line.Contains("COM") '... End Select Next msgbox(taValeur) ' retourne 23.7
EDIT: Mais il n'existe pas une API ou un webservice pour traiter ce genre de fichier ? Parce que là c'est du bidouillage pas top top et pas du tout évolutif ...

29/11/2013, 19h53
Macmachi

Merci je vais testé cela prochainement ;)

A ma connaissance c'est très délicat à partir d'un fichier texte. Malheureusement c'est le seul format proposé.

J'aurais préféré du xml :cry: