Discussion :

[dietrying]

Bonsoir à tous,

J'aimerais bien que vous m'orienter un peu parce que là j'ai perdu la route

Bien j'explique le problème :

J'ai installé Firebird 2.5 et je cherche une méthode afin de lancer des mise à jour en parallèle d'une même table (des INSERT ou bien update). est-ce que c'est possible de gérer ça avec les thread ?

Notez aussi que l'update et la mise à jour et l'ajout d'enregistrement concerne une même table.

Merci d'avance pour vos conseils.

[ShaiLeTroll]

Si tu veille à avoir autant d'objet Connection et Query que de thread, cela ne pose pas de problème !

Je l'ai fait avec du BDE et IB6, il y a presque 10 ans, cela fonctionnait très bien, un collègue avait tenté d'utiliser IBX mais il avait des problèmes, je pense qu'il avait partagé ses DB Components dans ses threads !

Ensuite, cela dépend aussi de la library, DBX, UIB, Zeos ... et comme tu n'as pas précisé le provider utilisé, on ne peut pas répondre à la question avec exactitude !

[dietrying]

Salut ShaiLe,

je m'explique mieux là :

les composants que j'utilise pour connexion sont : FIBPLUS 7 voire DBEXPRESS

En ce qui concerne les objets de connexion, vous voulez dire que je dois les créer dynamiquement lors de la création du thread c'est ça ! si son l'objectif c'est q'un thread secondaire qui controle l'arrivé d'un fichier texte qui a la même structure sous plusieurs dossiers exemple le fichier se nomme DATA.01 : c'est un fichier texte qui arrive sous une arborescence comme suit :
Dossier principal : Interface \
- dossier 1
- dossier 2
- dossier 3 (jusqu'au dossier n)

et que je veux récupérer tous les fichiers dans la base au même temps avec plusieurs threads avec des query (insert into même table article par exemple).

J'utilise la technologie datasnap là pour construire une automate serveur qui fait le boulo mais mon souci là est ce que c'est possible de gérer les deadlock inter-thread, par exemple si j'ai 30 fichiers qui arrive je vais donc lancer 30 threads de mise à jour de la même table est-ce que c'est possible de la faire.

Dietrying.

[ShaiLeTroll]

En ce qui concerne les objets de connexion, vous voulez dire que je dois les créer dynamiquement lors de la création du thread c'est ça !

Cela me semble plus prudent, rien que pour la propriété DataSets d'un TSQLConnection, si tu as deux threads qui ajoutent un DataSet à un même objet, en lisant le code du TSQLConnection héritant du TCustomConnection cela ne gère pas verrou sur sa TList stockant les TDataSet\TCustomSQLDataSet, l'ajout pourrait encore passer mais la suppression serait risque de VA !

si son l'objectif c'est q'un thread secondaire qui controle l'arrivé d'un fichier texte

Tu utilises pour cela je suppose FindFirstChangeNotification en FILE_NOTIFY_CHANGE_FILE_NAME\FILE_NOTIFY_CHANGE_SIZE, surveillant un ensemble de répertoire, le tout dans un thread et un WaitForMultipleObjects

Tu peux juste au moment opportun, créer la connexion, créer la query, lancer le insert, libérer query et connexion !
Après tout, FB est conçu pour être attaqué par de multiple client, pas de différence entre un processus ou un thread pour lui !

gérer les deadlock inter-thread, par exemple si j'ai 30 fichiers qui arrive je vais donc lancer 30 threads de mise à jour de la même table est-ce que c'est possible de la faire.

On ne gère pas les Dead Lock ! On les évites !
Tu voulais dire comment on synchronise des threads, avec des sémaphores, des signaux, des TThreadList ...
Rien n'empêche d'avoir un thread dédié à effectuer des actions simples et prédéfinies sur la DB,
Ce thread scrute une TThreadList en FIFO (couplé à un TEvent pour le réveil ou un sleep régulier), les 30 threads ajoutent dans la ThreadList une notification (cela peut être la requête, mais tu peux monter un système de notification générique), après l'ajout, il pulse le TEvent pour réveiller le thread qui va donc lire la liste, un seule thread donc une seule connexion

A toi de voir ce qui nécessite de la parallélisation ou du séquencement !
FireBird supportera d'avoir 30 clients qui font chacun un INSERT, c'est le but d'un SGBD tout même, l'accès concurrentiel c'est un basique !

[dietrying]

oui tout a fait j'utilise FindFirstChangeNotification en FILE_NOTIFY_CHANGE_FILE_NAME\FILE_NOTIFY_CHANGE_SIZE, pour surveiller un répertoire racine et tous les sous-rep dans un thread et un WaitForMultipleObjects.

Pour le TThreadList : j'ai pas bien compris le principe est-ce possible de me donner un petit exemple avec un Tevent ?


Pour l'accès concurrentiel, j'essaye de créer pour chaque répertoire (chaque thread) son propre utilisateur et tester.

Sinon je suis en train de regarder le principe de transactions dans Firebird.

Je te remerci bien ShaiLe pour vos conseils, je viens de basculer le language de developpement de C# vers DELPHI XE recemment (seulement 6 mois) et je travaille sur ce projet depuis. Travailler avec me parait très amusant. Et pour l'architecture DATASNAP (c'est du lourd) mais j'avance com mem.

J'essaye de poster le code comme ça vous pourrez avoir une idée et m'enrichir avec votre expérience.

a++

[ShaiLeTroll]

Pour le TThreadList : j'ai pas bien compris le principe est-ce possible de me donner un petit exemple avec un Tevent ?

Imagions un Thread qui s'appel TSendBox
AddMessage est une fonction appelé par l'un des 30 threads

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
procedure TSendBox.AddMessage(const S: string);
var
  P: PMessageItem; // un pointer sur record
begin
  new(P);
  P.Value := S;  
  FThreadList.Add(P) // inclu une section critique
  FEvent.SetEvent();
end;

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
type
  PMessageItem = ^TMessageItem;
  TMessageItem = record
    Value : string;
  end;

dans le Execute du TThread

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
procedure TSendBox.Execute();
var
  TmpQueue: TList;
begin
  while not Terminated do
  begin
    if FEvent.WaitFor(INFINITE) = wrSignaled then
    begin
      FEventLock->ResetEvent();
 
      TmpQueue := FEventQueue.LockList(); // la section critique !
      try
         Faire un truc avec chaque TmpQueue.Items[] qui sont des PMessageItem
       finally
            FEventQueue.UnlockList();
       end;
...

je le fais souvent en deux ou trois temps,
- je récupère l'élément entre LockList et UnlockList
- je traite
- je supprimer l'élément traité entre LockList et UnlockList

c'est pour éviter des blocages trop long lié au traitement !
La gestion de l'échec du traitement c'est loin d'être simple, faut-il le conserver pour le relancer, l'oublier ? ... selon les cas, je gère différemment la phase de POP dans la liste avec un système d'ACK ou NAK, de nombre de tentative avant l'abandon ... jusqu'à présent, je n'ai jamais eu de problème, la loi de Murphy's m'a épargné !

En C++Builder, j'utilise d'autres types de liste issu de la STL couplé avec des TMultiReadExclusiveWriteSynchronizer ou TCriticalSection

[dietrying]

Merci bien shaiLe pour l'explication aussi rapide. j'ai passé une semaine pour la comprendre quoi ! mais bon c'est pas grave je suis débutant comme même.

Bien voilà j'ai changé un peu les choses là. Pour la surveillance du dossiers j'utilise plutôt l'API 'ReadDirectoryChangesW'. un petit bijou que j'ai trouvé sur le net (je la met e joint). je peux dans ce cas récupérer les noms des fichiers et leurs chemins dans une liste. par
Par contre, si l'administrateur arrête l'application sur le serveur et qu'un fichier vient de s'ajouter, alors là je dois scruter le dossier si un fichier existe déja puis je lance le thread de surveillance.

Pour l'accès à Firebird, j'ai changé aussi de librairie: j'ai choisi IBOBJECTS.

Alors vous explique un peu comment ça fonctionne :

une automate qui s'exécute sur le serveur et qui gère aussi les connexions clients. Elle a pour rôles :

- surveiller un dossier principal et tous les sous dossiers.
- Gérer les connexions clients.
- contient aussi des procédures partagés pour les clients.
- contient aussi les procédure d'accès à la base de données.

Voilà, lorsque je détecte un fichier FLAG qui arrive je lance un thread de mise à jour de la base de données puis une autre thread pour faire des traitements avec une application externe.

Et pour l'accès à la base par plusieurs thread, j'ai pensé aussi à créer autant de table. comme ça je peux garantir la cohérence des données. Bon j'ai pas essayé ceci mais bon je vais le faire.

Enfin pour la lecture des fichiers textes et binaires j'ai utilisé le FVIEW de Dr.who vraiment c'est rapide ! Avec un record bien entendu et des champs array of ANSICHAR.

Avec delphi tu ne pas dormir !