Get, Flux XML analyse et affichage en live

Version imprimable

22/02/2011, 23h08
Mobybic

Get, Flux XML analyse et affichage en live

Bonjour

J'ai un programme à réaliser qui consiste à récupérer un flux (j'utilise THttpCli de ICS) avec un GET, sur un serveur (Logiciel embarquant un serveur web). Le serveur me réponds avec un keep-alive pour maintenir la connexion, car ce dernier m'envoie des informations d'état régulièrement en XML. Je souhaite analyser en temps réel ce flux XML.

Je fais donc le GET dans un thread (je me suis servi des démo de ICS) et j'ai un problème avec l'analyse du XML. En effet, je ne crois pas pouvoir accéder au HttpCli.rcvdstream en même temps en écriture (par le get dans mon thread) et en lecture (par l'affectation à un objet TMemoryStream dans la procédure initiale). Je pensais peut-être me servir d'un fichier temporaire ou d'une pile, mais j'aimerais des conseils avisés avant de me jeter !

Le but de tout cela est de pouvoir sélectionner les événement contenus dans les messages XML qui m'intéressent.

Je ne sais pas vraiment comment faire, je (re)débute en programmation et en Delphi en particulier. Merci pour votre aide
23/02/2011, 05h58
Paul TOTH
Citation:

Envoyé par Mobybic

Bonjour

J'ai un programme à réaliser qui consiste à récupérer un flux (j'utilise THttpCli de ICS) avec un GET, sur un serveur (Logiciel embarquant un serveur web). Le serveur me réponds avec un keep-alive pour maintenir la connexion, car ce dernier m'envoie des informations d'état régulièrement en XML. Je souhaite analyser en temps réel ce flux XML.

Je fais donc le GET dans un thread (je me suis servi des démo de ICS) et j'ai un problème avec l'analyse du XML. En effet, je ne crois pas pouvoir accéder au HttpCli.rcvdstream en même temps en écriture (par le get dans mon thread) et en lecture (par l'affectation à un objet TMemoryStream dans la procédure initiale). Je pensais peut-être me servir d'un fichier temporaire ou d'une pile, mais j'aimerais des conseils avisés avant de me jeter !

Le but de tout cela est de pouvoir sélectionner les événement contenus dans les messages XML qui m'intéressent.

Je ne sais pas vraiment comment faire, je (re)débute en programmation et en Delphi en particulier. Merci pour votre aide

Si je ne m'abuse ICS fonctionne par événements et non par Thread, tu dois donc avoir un événement qui se déclenche à la réception d'une réponse XML et tu peux alors la traiter non ?

Ceci dit, quand tu parles de recevoir régulièrement des informations...Keepalive ne sert pas à ça, à moins que tu n'ais fait un raccourci dans ta question.

KeepAlive permet de garder le socket ouvert pour enchaîner des requêtes sur la même connexion, ce qui impose que la réponse possède dans son entête HTTP un Content-Length qui permet au client de savoir que la réponse est complète et qu'il peut passer à la requête suivante (sinon il attend la fermeture de la connexion).

En tout état de cause, pour un GET tu n'as qu'une seule réponse quelque soit le mode de connexion !

Mais il est tout à fait possible d'avoir une réponse "longue" constituée de plusieurs fichiers XML mis bout à bout, le XML lui-même délimitant les différentes parties. Et rien ne t'empêche de traiter la réponse au fur et à mesure de la lecture.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 GET / HTTP/1.0 200 OK Content-type: text/xml  <?xml> <...> </xml>  <?xml> <...> </xml>
23/02/2011, 08h01
Mobybic

Bonjour et merci pour ta réponse très rapide.

Tu as globalement bien compris ma demande malgré mon explication floue :d

Alors en effet, il y a un événement à chaque réception d'un message complet, la démo de ICS me le fait constater en affichant un message (Sur evt DocBegin, DocEnd)

Pour le keep-alive, j'ai effectivement fait un raccourci je crois. Je voulais signifier que faisant un get et ne fermant pas la connexion, la requête est bloquante (Donc je la met dans un thread supplémentaire pour effectuer d'autres actions). En gérant correctement les événements DocBegin et Doc End, j'aurais certainement pu me passer d'un thread supplémentaire?

Voilà ce que j'ai en réponse XML enregistré dans un fichier (Exactement ce que tu as marqué dans ton message;) ):

***********************
--DigifortBoundary
Content-Type: text/plain; charset=UTF-8
Content-Length: 203

RESPONSE_CODE=0
RESPONSE_MESSAGE=OK
OBJECTDATA_NAME=
OBJECTDATA_TYPE=
EVENTDATA_NAME=
EVENTDATA_TYPE=KEEP_ALIVE
EVENTDATA_TIMESTAMP=2011-02-18 22:27:26
EVENTDATA_UTCTIMESTAMP=2011-02-18 21:27:26
--DigifortBoundary
Content-Type: text/plain; charset=UTF-8
Content-Length: 203

RESPONSE_CODE=0
RESPONSE_MESSAGE=OK
OBJECTDATA_NAME=
OBJECTDATA_TYPE=
EVENTDATA_NAME=
EVENTDATA_TYPE=KEEP_ALIVE
EVENTDATA_TIMESTAMP=2011-02-18 22:27:31
EVENTDATA_UTCTIMESTAMP=2011-02-18 21:27:31
--DigifortBoundary
Content-Type: text/plain; charset=UTF-8
Content-Length: 203

RESPONSE_CODE=0
RESPONSE_MESSAGE=OK
OBJECTDATA_NAME=
OBJECTDATA_TYPE=
EVENTDATA_NAME=
EVENTDATA_TYPE=KEEP_ALIVE
EVENTDATA_TIMESTAMP=2011-02-18 22:27:36
EVENTDATA_UTCTIMESTAMP=2011-02-18 21:27:36

********************************

Et en conclusion, ma question est dans ta dernière phrase :

Comment traiter ce flux à la volée, au fur et à mesure qu'il arrive?

Faut-il que sur un événement DocData je lance le parser (Qui soit dit en passant attend un paramètre Pchar alors que j'ai un flux Tmemorystream...)? Et ce dans l'unité du thread et pas dans l'unité principale?

Merci beaucoup pour le soutien

Citation:

Envoyé par Mobybic

Bonjour et merci pour ta réponse très rapide.

Tu as globalement bien compris ma demande malgré mon explication floue :d

Alors en effet, il y a un événement à chaque réception d'un message complet, la démo de ICS me le fait constater en affichant un message (Sur evt DocBegin, DocEnd)

Pour le keep-alive, j'ai effectivement fait un raccourci je crois. Je voulais signifier que faisant un get et ne fermant pas la connexion, la requête est bloquante (Donc je la met dans un thread supplémentaire pour effectuer d'autres actions). En gérant correctement les événements DocBegin et Doc End, j'aurais certainement pu me passer d'un thread supplémentaire?

Voilà ce que j'ai en réponse XML enregistré dans un fichier (Exactement ce que tu as marqué dans ton message;) ):

***********************
--DigifortBoundary
Content-Type: text/plain; charset=UTF-8
Content-Length: 203

RESPONSE_CODE=0
RESPONSE_MESSAGE=OK
OBJECTDATA_NAME=
OBJECTDATA_TYPE=
EVENTDATA_NAME=
EVENTDATA_TYPE=KEEP_ALIVE
EVENTDATA_TIMESTAMP=2011-02-18 22:27:26
EVENTDATA_UTCTIMESTAMP=2011-02-18 21:27:26
--DigifortBoundary
Content-Type: text/plain; charset=UTF-8
Content-Length: 203

RESPONSE_CODE=0
RESPONSE_MESSAGE=OK
OBJECTDATA_NAME=
OBJECTDATA_TYPE=
EVENTDATA_NAME=
EVENTDATA_TYPE=KEEP_ALIVE
EVENTDATA_TIMESTAMP=2011-02-18 22:27:31
EVENTDATA_UTCTIMESTAMP=2011-02-18 21:27:31
--DigifortBoundary
Content-Type: text/plain; charset=UTF-8
Content-Length: 203

RESPONSE_CODE=0
RESPONSE_MESSAGE=OK
OBJECTDATA_NAME=
OBJECTDATA_TYPE=
EVENTDATA_NAME=
EVENTDATA_TYPE=KEEP_ALIVE
EVENTDATA_TIMESTAMP=2011-02-18 22:27:36
EVENTDATA_UTCTIMESTAMP=2011-02-18 21:27:36

********************************

Et en conclusion, ma question est dans ta dernière phrase :

Comment traiter ce flux à la volée, au fur et à mesure qu'il arrive?

Faut-il que sur un événement DocData je lance le parser (Qui soit dit en passant attend un paramètre Pchar alors que j'ai un flux Tmemorystream...)? Et ce dans l'unité du thread et pas dans l'unité principale?

Merci beaucoup pour le soutien

je ne comprend pas bien à quoi correspond tes données ci-dessus qui ne sont en tout cas pas de l'XML

tout va dépendre de ton parser, est-il lui capable de traiter les données à la volée ? c'est à dire de traiter un début de fichier, te rendre la main car il n'a plus de données puis reprendre quand tu lui fournis la suite du fichier ?

sinon c'est pas très compliqué de copier le Stream d'ICS dans un STRING que tu envoie comme PChar à ton Parser une fois que le flux contient un fichier complet (DocEnd ?)
Code:

1 2 3 4 5 6 7 8 9 10 SetLength(str, Stream.size); stream.position := 0; stream.read(str[1], length(str)); Parser.Process(PChar(str)); //--- ou éventuellement si c'est un MemoryStream z := 0; stream.write(z, 1); // ajout d'un #0 Parser.Process(PChar(stream.Memory));

23/02/2011, 10h02
Mobybic

Bonjour

Merci beaucoup Paul

J'ai collé la version Texte des messages, pas la version XML (J'ai la possibilité de recevoir en réponse au get le texte ou le xml)

Je vais regarder tout ça ce soir et demain soir, et revenir donner mon résultat. Je dois analyser les EVENT_DATA_TYPE de chaque message XML (Message qui est compris entre les commentaires "--DigifortBoundary".

Pour ce qui est du parser, je vais regarder ses capacités.(XML Parser de Stefan Heymann's)

Pour ce qui est de la copie du string, est-ce que DocEnd donne la fin d'un message ou la fin du fichier complet (Get terminé)? si j'attend la fin de fichier, je risque d'attendre éternellement car c'est justement un monitoring et le flux issu du Get n'est jamais censé s'arrêter.
23/02/2011, 10h31
Paul TOTH

Citation:

Envoyé par Mobybic

Bonjour

Merci beaucoup Paul

J'ai collé la version Texte des messages, pas la version XML (J'ai la possibilité de recevoir en réponse au get le texte ou le xml)

Je vais regarder tout ça ce soir et demain soir, et revenir donner mon résultat. Je dois analyser les EVENT_DATA_TYPE de chaque message XML (Message qui est compris entre les commentaires "--DigifortBoundary".

Pour ce qui est du parser, je vais regarder ses capacités.(XML Parser de Stefan Heymann's)

Pour ce qui est de la copie du string, est-ce que DocEnd donne la fin d'un message ou la fin du fichier complet (Get terminé)? si j'attend la fin de fichier, je risque d'attendre éternellement car c'est justement un monitoring et le flux issu du Get n'est jamais censé s'arrêter.

ok c'est donc bien un seul GET et une longue réponse...dans ce cas il faudrait passer par OnData en stockant les données dans un buffer tant que le boundary n'est pas atteind.

mais pourquoi s'embêter avec XML ? le format texte à l'air très bien et très simple :)
23/02/2011, 19h22
Mobybic

Citation:

Envoyé par Paul TOTH

ok c'est donc bien un seul GET et une longue réponse...dans ce cas il faudrait passer par OnData en stockant les données dans un buffer tant que le boundary n'est pas atteind.

mais pourquoi s'embêter avec XML ? le format texte à l'air très bien et très simple :)

Ah le format texte donc... je pensais vraiment qu'avec uin parser XML je pouvais optimiser la vitesse du code et m'économier quelques lignes de code...

Bon mais ca change pas grand chose à mon probleme, on n'est pas encore arrivé au parser xml... patience, la question sur "Comment je parcoure mon flux texte" va venir...

Bon je résume : Je demande au serveur une réponse texte. Je stock cette réponse dans un buffer sur événement ondata. dès que je détecte le commentaire je stocke le contenu du buffer dans un fichier temp que je parcoure pour trouver ce dont j'ai besoin. je clear le buffer et ca repart.

j'ai bon?
24/02/2011, 09h54
Paul TOTH
Citation:

Envoyé par Mobybic

Ah le format texte donc... je pensais vraiment qu'avec uin parser XML je pouvais optimiser la vitesse du code et m'économier quelques lignes de code...

Bon mais ca change pas grand chose à mon probleme, on n'est pas encore arrivé au parser xml... patience, la question sur "Comment je parcoure mon flux texte" va venir...

Bon je résume : Je demande au serveur une réponse texte. Je stock cette réponse dans un buffer sur événement ondata. dès que je détecte le commentaire je stocke le contenu du buffer dans un fichier temp que je parcoure pour trouver ce dont j'ai besoin. je clear le buffer et ca repart.

j'ai bon?

presque :) pourquoi veux-tu passer par un fichier ?
Code:

1 2 3 4 5 sl := TStringList.Create; sl.Text := Copy(Buffer, 1, BoundaryPos); Delete(Buffer, 1, BoundaryPos + BoundaryLen); WriteLn(sl.Values['EVENTDATA_TYPE']);
24/02/2011, 11h53
ShaiLeTroll

Si tu veux faire du XML autant passé par WebService SOAP et d'utiliser un ce TXMLData (objet TRemotable, il faut le renommer dans des Delphi récents) qui encapsule le type ANY permettant d'y mettre un XML sans que celui-ci soit parsé en tant que le élément SOAP mais comme du RAW XML !
Voir si le TXMLData de 2007 est compatible ?!

Comme l'a souligné Paul Toth, si le format Texte est fonctionnel, autant continuer avec !
En plus les composants XML sont souvent gourmand en mémoire !

Pour un (re)débutant, tu ne t'attaques pas au plus facile !

Le Serveur tu en a aussi la maîtrise ?
HTTP 1.0 ou 1.1 ? la gestion connexion "persistente" n'est pas la même !
Au final qu'est ce qui ne fonctionne pas dans ton programme ?
Je ne connais pas le THttpCli de ICS, j'ai utilisé un TIdHTTP + SSL, et mes GET ne contenait que ce que j'avais besoin, je n'avais plus qu'à lire le contenu et pourtant cela envoyait aussi du XML a parser qui me permettait de récupérer par une autre URL un buffer en Base64 !
24/02/2011, 22h00
Mobybic

Bonsoir !
Merci pour cette aide précieuse. Je vais explorer tout ceci et vous ferai part de mon avancée.

Et oui je ne m'attaque pas au plus facile... mais je n'ai pas vraiment choisi le morceau de tarte à croquer, même si je suis le seul à avoir décidé d'en acheter une.

Je ne maîtrise pas le serveur, il est embarqué dans l'application (VidéoSurveillance) dont je dois analyser les événements.

Et au final, j'ai "juste" à appliquer les modifications proposées par Paul avant de vous dire si j'ai toujours un problème ! :d

Mon principal problème au départ était que je n'avais pas saisi toute la logique des composants que je souhaitais utiliser et que j'avais besoin d'aide pour faire un choix technique avant d'aller plus loin! (Et je n'arrivais pas tout seul à récupérer les données issues du get sachant que la connexion reste ouverte)

Et merci encore pour votre aide
Aurelien

Citation:
Envoyé par Paul TOTH
presque :) pourquoi veux-tu passer par un fichier ?
Code:

1 2 3 4 5 sl := TStringList.Create; sl.Text := Copy(Buffer, 1, BoundaryPos); Delete(Buffer, 1, BoundaryPos + BoundaryLen); WriteLn(sl.Values['EVENTDATA_TYPE']);
Bonsoir

J'ai essayé... j'ai quelques soucis...
Déjà, je n'arrive plus à obtenir mon flux texte ou xml dans un simple fichier (Tel que je l'ai posté au début). Je me retrouve avec des caractères spéciaux (Du chinois ou du japonais??)

J'ai essayé d'utiliser diverses méthodes mais rien de concluant. Je remplis un fichier de points d'interrogation...
Je me demande si j'ai une erreur dans mon code ci-dessous, surtout dans l'événement docData :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 procedure TFicheGet.Fermeture(Sender: TObject; var Action: TCloseAction); begin HttpCli1.Destroy; end; procedure TFicheGet.GoClick(Sender: TObject); begin HttpCli1 := THTTPCli.Create(Nil); HttpCli1.RcvdStream := TMemoryStream.Create; HttpCli1.OnDocData := HttpCli1DocData; with HttpCli1 do begin (RcvdStream as TMemoryStream).Clear; URL := 'http://127.0.0.1:8601/Interface/Events/Monitor?AuthUser=admin&ResponseFormat=Xml'; Get; // Get end; end; procedure TFicheGet.HttpCli1DocData(Sender: TObject; Buffer: Pointer; Len: Integer); var FichTest: TextFile; Str:string; begin AssignFile(FichTest, 'c:\TestGet.txt'); Append(FichTest); SetLength(str, HttpCli1.RcvdStream.size);//init string à la taille du stream HttpCli1.RcvdStream.position := 0; HttpCli1.RcvdStream.Read(str[1], len); ShowMessage(str); writeln(FichTest,Str); CloseFile(FichTest); end; end.
J'aimerais également savoir me servir du Buffer transmis en paramètre, ca pourrait être pratique non? Mais c'est un pointeur, et j'avoue ne pas avoir trouvé d'exemple concret pour utiliser ce Buffer correctement.

Merci !

Citation:
Envoyé par Mobybic
Bonsoir

J'ai essayé... j'ai quelques soucis...
Déjà, je n'arrive plus à obtenir mon flux texte ou xml dans un simple fichier (Tel que je l'ai posté au début). Je me retrouve avec des caractères spéciaux (Du chinois ou du japonais??)

J'ai essayé d'utiliser diverses méthodes mais rien de concluant. Je remplis un fichier de points d'interrogation...
Je me demande si j'ai une erreur dans mon code ci-dessous, surtout dans l'événement docData :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 procedure TFicheGet.Fermeture(Sender: TObject; var Action: TCloseAction); begin HttpCli1.Destroy; end; procedure TFicheGet.GoClick(Sender: TObject); begin HttpCli1 := THTTPCli.Create(Nil); HttpCli1.RcvdStream := TMemoryStream.Create; HttpCli1.OnDocData := HttpCli1DocData; with HttpCli1 do begin (RcvdStream as TMemoryStream).Clear; URL := 'http://127.0.0.1:8601/Interface/Events/Monitor?AuthUser=admin&ResponseFormat=Xml'; Get; // Get end; end; procedure TFicheGet.HttpCli1DocData(Sender: TObject; Buffer: Pointer; Len: Integer); var FichTest: TextFile; Str:string; begin AssignFile(FichTest, 'c:\TestGet.txt'); Append(FichTest); SetLength(str, HttpCli1.RcvdStream.size);//init string à la taille du stream HttpCli1.RcvdStream.position := 0; HttpCli1.RcvdStream.Read(str[1], len); ShowMessage(str); writeln(FichTest,Str); CloseFile(FichTest); end; end.
J'aimerais également savoir me servir du Buffer transmis en paramètre, ca pourrait être pratique non? Mais c'est un pointeur, et j'avoue ne pas avoir trouvé d'exemple concret pour utiliser ce Buffer correctement.

Merci !
à mon avis ton Stream ne sert à rien
Code:

1 2 SetString(Str, PChar(Buffer), Len);

28/02/2011, 07h53
Mobybic
Citation:
Envoyé par Paul TOTH

à mon avis ton Stream ne sert à rien

Code:

1 2 SetString(Str, PChar(Buffer), Len);
Pourquoi faire simple... Merci

J'ai modifié en PAnsiChar et je suis bon, j'ai mes caractères en clair!