Firedac + SQLite et détection de modification

Version imprimable

Voir 40 message(s) de cette discussion en une page

25/08/2025, 10h46
der§en

Firedac + SQLite et détection de modification

Bonjour,

pour tester les possibilités de Firedac avec SQLite, j’ai chargé en mémoire ma base SQLite (base de 10 Mo) au chargement de mon appli, les pers sont excellente.

En sortie, je voudrais pouvoir décidé de sauver sur disque ma base en mémoire mais seulement si elle a reçu des modifications.

J’ai pas trouvé comment déterminer avec exactitude si la base a été modifiée, auriez-vous une idée ou une solution ?

Merci d’avance de vos propositions.
26/08/2025, 09h09
popo

Puisque tu as décidé de tout mettre en mémoire, pourquoi ne pas tout simplement mettre l'information qu'il te manque en mémoire également ?
Il suffit de mettre à jour cette information de la même manière que tu mets à jour le reste.

Edit :
Au passage, cette approche est dangereuse.
S'il y a le moindre plantage non géré dans ton application, tu risques de perdre toutes tes modifications en mémoire.
Une base SQLite est faite pour travailler en local, de sorte que tu n'a normalement pas de problème d'accès.
Je te suggère de lire et écrire dans la base uniquement lorsque c'est nécessaire et uniquement sur les données qui sont nécessaires.
26/08/2025, 09h56
acaumes

Bonjour,

Citation:

Envoyé par der§en

En sortie, je voudrais pouvoir décidé de sauver sur disque ma base en mémoire mais seulement si elle a reçu des modifications.

Je ne connais pas FIREDAC mais l'interface

Citation:

sqlite3_changes()
ou
sqlite3_total_changes()

sont là exprès

Cordialement
26/08/2025, 11h28
SergioMaster

Citation:

Envoyé par der§en

En sortie, je voudrais pouvoir décidé de sauver sur disque ma base en mémoire mais seulement si elle a reçu des modifications.

Hum, A moins que tu veuilles faire une copie de la base, je ne comprends pas bien le terme "sauver" sauf si tu utilises des tables en mode CacheUpdates.
Ensuite tu peux toujours utiliser une variable booléenne globale, false par défaut et que tu mettrais à true dès le premier "POST".
Sache également que tu peux obtenir le nombre de lignes modifiées si tu utilises des querys (exemple ndeleted:=FDQuery.ExecSQL('DELETE FROM MATABLE WHERE N=1'))

Pour moi c'est trop flou comme demande
26/08/2025, 11h46
der§en

Ma base est principalement pour des accès en lecture seule, mais il peux arriver qu’il faille faire des MAJ.

Je me demandais si Firedac, était capable de me dire si il a eu des modifications dans la base sans avoir à mettre ma propre gestion, histoire de ne pas réinventer la roue.

Quand je parle de sauver, il s’agit pour moi de créer une copie de la base en mémoire après avoir appliquer TFDSQLiteValidate.Sweep !
26/08/2025, 11h59
SergioMaster

C'est le "en mémoire" qui me chiffonne !
Il me semble que tu pourrais le faire directement en utilisant un FDConnection.EXECSQL('VACUUM INTO Copiebase.sdb'); mais ça demande quelques tests, https://www.sqlite.org/lang_vacuum.html
j'ai déjà utilisé d'autres "commandes" SQLite en direct mais pas celle-ci
26/08/2025, 12h28
der§en

Si tu veux, une fois remplacé ma base perso par une plus générique, je peux publier mon datamodule avec un exemple utilisant TFDQuery pour que tu puisses voir comment j’ai chargé en mémoire ma base SQLite !
26/08/2025, 13h41
SergioMaster

Maintenant que je me suis un peu remis au codage, oui, pourquoi pas
26/08/2025, 15h20
ALWEBER

Pourquoi pas un Trigger

Je pense que l'utilisation de "trigger" est aussi une solution. +D'infos si tu le souhaites. Si tu nous envoies un exemple j’essaierai de te faire un essai avec le solution que je propose.
29/08/2025, 08h20
SergioMaster

Citation:

Envoyé par SergioMaster

j'ai déjà utilisé d'autres "commandes" SQLite en direct mais pas celle-ci

Voilà j'ai retrouvé au moins une utilisation dans mes codes, pour gérer les changements possibles de la structure d'une base de données

Code:

version:=FDCnxcomptes.ExecSQlScalar('PRAGMA user_version');

Code à retrouver dans ce dépôt unité Udm.pas

Comme cette histoire de chargement me chiffonne, j'ai effectivement lu que c'était possible via les API SQLite https://www.sqlite.org/inmemorydb.html
Toutefois, à moins que cela m'ait échappé, je ne crois pas que cette fonctionnalité soit offerte dans Firedac :koi: mais j'avoue ne pas avoir cherché ;)

Bon, pour commencer ma journée (en attendant l'installation de la dernière version Bêta de D13) je vais faire ces deux tentatives à partir d'un projet vide.
29/08/2025, 09h53
acaumes

Bonjour,

Citation:

Envoyé par SergioMaster

Voilà j'ai retrouvé au moins une utilisation dans mes codes, pour gérer les changements possibles de la structure d'une base de données

Code:

version:=FDCnxcomptes.ExecSQlScalar('PRAGMA user_version');

Pour pouvoir vérifier la version utilisateur, encore faut il la mettre à jour car celle ci nest jamais mise à jour par SQLITE.

Citation:

The user_version pragma will get or set the value of the user-version integer at offset 60 in the database header. The user-version is an integer that is available to applications to use however they want. SQLite makes no use of the user-version itself.

Par contre le pragma Data_version peut être intéressant

Citation:

PRAGMA schema.data_version;

The "PRAGMA data_version" command provides an indication that the database file has been modified. Interactive programs that hold database content in memory or that display database content on-screen can use the PRAGMA data_version command to determine if they need to flush and reload their memory or update the screen display.

The integer values returned by two invocations of "PRAGMA data_version" from the same connection will be different if changes were committed to the database by any other connection in the interim. The "PRAGMA data_version" value is unchanged for commits made on the same database connection. The behavior of "PRAGMA data_version" is the same for all database connections, including database connections in separate processes and shared cache database connections.

The "PRAGMA data_version" value is a local property of each database connection and so values returned by two concurrent invocations of "PRAGMA data_version" on separate database connections are often different even though the underlying database is identical. It is only meaningful to compare the "PRAGMA data_version" values returned by the same database connection at two different points in time.

EDIT 29/08/2025 9H56 Ceci ne semble vérifié que pour les autres connections à la base de données
Cordialement
29/08/2025, 10h11
tourlourou

Bonjour,
Peut-être la comparaison des valeurs de PRAGMA schema.data_version à condition qu'elle soit récupérée par une connexion à ta base en mémoire différente de celle qui la modifie ?

Oui, j'avais pensé à

Code:

PRAGMA data_version

après tests, ce matin, cela n'a pas été concluant.
Pour le user_version effectivement, il ne faut pas oublier de le modifier, c'est à charge de l'utilisateur (ou plutôt du programme) de le faire

voici un extrait du code en cours, je n'ai pas réussi à passer directement l'instruction VACUUM en SQL, donc avec Firedac j'utilise les composants idoines (FDSQLiteValidate et FDSQLiteBackup)
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 procedure TMainForm.btnVacuumClick(Sender: TObject); begin FDTable1.DisableControls; FDConnection1.Connected:=False; FDSQLiteValidate1.Sweep; FDConnection1.Connected:=True; FDTable1.EnableControls; end; function TMainForm.get_databaseversion: integer; begin try result:=FDConnection1.ExecSQLScalar('PRAGMA user_version'); except result:=0; end; end; procedure TMainForm.VacuumInFileClick(Sender: TObject); begin FDConnection1.ExecSQL(Format('PRAGMA user_version=%d',[get_databaseversion+1])); version.Caption:=format('version = %d',[get_databaseversion]); btnVacuumClick(Sender); FDSQLiteBackup1.Database:=FDConnection1.Params.Database; FDSQLiteBackup1.DestDatabase:=Format('test_bk%d.sdb',[get_databaseversion]); FDSQLiteBackup1.Backup; end;
me reste à comprendre la fameuse phrase

Citation:

ma base en mémoire

N.B. Il n'est pas indiqué si l'on a affaire à une seule table ou plusieurs ce qui changerait la chose
[EDIT 10:43] cependant un SQL genre n:=FDConnection1.ExecSQLScalar('SELECT Changes()'); if n>0 then .... {modifications sur la base de données} pourrait répondre à la question (je viens de faire un essai,toujours avec une seule table toutefois, le SQL fonctionne

pour l'instant j'en suis resté au simple cachedupdate=true d'une table et donc l'utilisation de

Code:

if FDTable1.UpdatesPending then FDTable1.ApplyUpdates();

Rectification, l'utilisation de VACUUM INTO fonctionne
Code:

1 2 3 4 5 6 procedure TMainForm.Button2Click(Sender: TObject); begin FDConnection1.Connected:=False; FDConnection1.ExecSQL('VACUUM INTO "C:\Athenes\VCL\SQliteTest\Win32\Debug\test_vac.sdb"'); FDConnection1.Connected:=true; end;
deux erreurs de ma part m'avais fait indiqué le contraire :
l'oubli de INTO lors de ma codification
la syntaxe pour ce qui est de la destination, en ne mettant que VACUUM INTO test_vac.sdb je ne retrouvais pas le fichier

Cette solution permet de d'éviter tout les composants (FDSQLiteValidate, FDSQLiteBackup, FDSQLitePhysDriver et FDGUIxAsyncExecuteDialog) nécessaires de mon post précédent.

29/08/2025, 12h15
SergioMaster

M'attaquant désormais à la partie base en mémoire, en fouillant dans le docwiki, je suis effectivement "tombé" sur la partie "Utilisation d'une base de données SQLite en mémoire dans une application Delphi" dans cette page @der§en est-ce cette technique que tu testes ?
30/08/2025, 09h37
SergioMaster

1 pièce(s) jointe(s)

Avec la technique citée dans mon précédent post
voici une solution
Pièce jointe 669940
Choses à signaler
Il faut bien sûr changer les chemins de la base de données (en dur dans mon code)
Pour la sauvegarde/sweep j'ai fait au plus simple mais, AMHA, il faudrait toujours garder le même nom de base, donc renommer l'ancienne "version" et faire la commande de VACUUM le nom de la base restant inchangé, mais comme je n'ai pas vraiment compris le besoin ....
Je n'ai fait qu'un test partiel en utilisant uniquement les insertions par SQL direct (les boutons à côté de la barre de navigation), j'ai été déçu de ne pas avoir les nombres d'enregistrement modifiés totaux mais, vu la technique utilisée c'est logique

Citation:

Envoyé par doc sqlite

The changes() function returns the number of database rows that were changed or inserted or deleted by the most recently completed INSERT, DELETE, or UPDATE statement
30/08/2025, 10h45
acaumes

Bonjour,

NB. Il y a une fonction SQL aussi pour cela

Citation:

changes()

The changes() function returns the number of database rows that were changed or inserted or deleted by the most recently completed INSERT, DELETE, or UPDATE statement, exclusive of statements in lower-level triggers. The changes() SQL function is a wrapper around the sqlite3_changes64() C/C++ function and hence follows the same rules for counting changes.

On doit pouvoir l'utiliser ainsi:

Code:

select changes()

et obtenir le résultat demandé

Cordialement
30/08/2025, 12h21
SergioMaster

@acaumes
c'est ce que j'ai fait, mais le nombre de changements n'est pas vraiment ce que j'ttendais, dans mon premier jus (hors base en mémoire) j'utilisais des tables en mode cachedupdate ce qui, après le applyupdates me donnait un meilleur résultat
30/08/2025, 13h16
acaumes

Citation:

Envoyé par SergioMaster

@acaumes
c'est ce que j'ai fait, mais le nombre de changements n'est pas vraiment ce que j'ttendais, dans mon premier jus (hors base en mémoire) j'utilisais des tables en mode cachedupdate ce qui, après le applyupdates me donnait un meilleur résultat

Oups, j'ai lu trop vite, je croyais qu'il s'agissait de l'interface C de SQLITE.
NB. Cette commande ne traite pas des modifications entrainées par autre chose que les INSERT/DELETE/UPDATE et encore juste les plus récents (c'est à dire pas tous) et de plus elle oublie les triggers...

Désolé du retard voici le code de mon TDatamodule, si vous voyez des horreurs ou des amélioration possible, je suis preneur:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
unit uDataModule;
 
interface
 
uses
  System.SysUtils, System.Classes,
  FireDAC.Comp.Client, FireDAC.Stan.Def, FireDAC.Stan.Async,
  FireDAC.DApt, FireDAC.Phys.SQLite, FireDAC.Phys.SQLiteWrapper,
  FireDAC.Phys, FireDAC.UI.Intf, FireDAC.Comp.UI, FireDAC.Stan.Intf,
  FireDAC.Stan.Option, FireDAC.Stan.Error, FireDAC.Phys.Intf, FireDAC.Stan.Pool,
  FireDAC.VCLUI.Wait, Data.DB, FireDAC.Phys.SQLiteDef, FireDAC.Stan.ExprFuncs,
  FireDAC.Stan.Param, FireDAC.DatS, FireDAC.DApt.Intf, Data.Bind.Components,
  Data.Bind.DBScope, FireDAC.Comp.DataSet;
 
 
type
  TdmDB = class(TDataModule)
    FDConnectionMem: TFDConnection;
    FDPhysSQLiteDriverLinkPolaris: TFDPhysSQLiteDriverLink;
    FDGUIxWaitCursor1: TFDGUIxWaitCursor;
    dsVilles: TDataSource;
    fdqVilles: TFDQuery;
    bsVilles: TBindSourceDB;
    FDSQLiteValidate1: TFDSQLiteValidate;
    procedure DataModuleCreate(Sender: TObject);
    procedure DataModuleDestroy(Sender: TObject);
  private
    FModified: Boolean;
    FDBFile: string;
    procedure LoadDBInMemory;
    procedure SaveDBToDisk(ASaveWithTimestamp: Boolean = True);
    procedure SetDBFile(const AValue: string);
  public
    property DBFile: string read FDBFile write SetDBFile;
  end;
 
var
  dmDB: TdmDB;
 
implementation
 
{%CLASSGROUP 'Vcl.Controls.TControl'}
 
{$R *.dfm}
 
uses
  Vcl.Dialogs;
 
procedure TdmDB.DataModuleCreate(Sender: TObject);
begin
  FModified := False;
end;
 
procedure TdmDB.DataModuleDestroy(Sender: TObject);
begin
  // Sauver la DB mémoire en sortie
  //  ShowMessage(Format('Il y a %d enregistrements modifiés', [fdqVilles.ChangeCount]));
  //  ShowMessage(Format('Il y a %s enregistrements en attente', [BoolToStr(fdqVilles.UpdatesPending, true)]));
 
  if FModified then
    SaveDBToDisk;
end;
 
procedure TdmDB.LoadDBInMemory;
var
  DiskConn: TFDConnection;
  Backup: TFDSQLiteBackup;
begin
  // --- Connexion mémoire partagée ---
  FDConnectionMem.DriverName  := 'SQLite';
  FDConnectionMem.Params.Values['Database'] := 'file::memory:?cache=shared';
  FDConnectionMem.LoginPrompt := False;
  FDConnectionMem.Connected   := True;
 
  // --- Connexion disque ---
  DiskConn := TFDConnection.Create(nil);
  try
    DiskConn.DriverName      := 'SQLite';
    DiskConn.Params.Database := FDBFile;
    DiskConn.Params.Add('OpenMode=ReadWrite'); // lecture/écriture possible
    DiskConn.LoginPrompt     := False;
    DiskConn.Connected       := True;
 
    // --- Backup disque -> mémoire ---
    Backup := TFDSQLiteBackup.Create(nil);
    try
      Backup.Database        := DiskConn.Params.Database;      // base disque
      Backup.DestDatabaseObj := FDConnectionMem.CliObj;        // base mémoire
      Backup.DriverLink      := FDPhysSQLiteDriverLinkPolaris; // Nécessaire pour fonctionner.
      Backup.DestMode        := smCreate;
 
      Backup.Backup;
    finally
      Backup.Free;
    end;
 
  finally
    DiskConn.Free;
  end;
end;
 
procedure TdmDB.SaveDBToDisk(ASaveWithTimestamp: Boolean);
var
  Backup: TFDSQLiteBackup;
  LPath, LName, LExt: string;
  LDBFileOut: string;
begin
  if not FDConnectionMem.Connected then
    Exit;
 
  // Création de la copie de la base sur disque;
  if ASaveWithTimestamp then
  begin
    LPath := ExtractFilePath(FDBFile);
    LName := ChangeFileExt(ExtractFileName(FDBFile), '');
    LExt := ExtractFileExt(FDBFile);
    LDBFileOut := Format('%s%s-%s%s', [LPath, LName, FormatDateTime('yyyymmdd_hhnnss', Now), LExt]);
  end
  else
    LDBFileOut := FDBFile;
 
  // Equivalent a la commande VACUUM pour réduire la taille de la base...
  FDSQLiteValidate1.Sweep;
 
  Backup := TFDSQLiteBackup.Create(nil);
  try
    Backup.DatabaseObj  := FDConnectionMem.CliObj;        // mémoire partagée
    Backup.DestDatabase := LDBFileOut;                    // fichier disque
    Backup.DriverLink   := FDPhysSQLiteDriverLinkPolaris; // Nécessaire pour fonctionner.
    Backup.DestMode     := smCreate;                      // recrée le fichier
 
    Backup.Backup;
  finally
    Backup.Free;
  end;
end;
 
procedure TdmDB.SetDBFile(const AValue: string);
begin
  if (AValue <> EmptyStr) and FileExists(AValue) then
  begin
    FDBFile := AValue;
 
    // Charger en mémoire partagée
    LoadDBInMemory;
 
    fdqVilles.Active := True;
  end;
end;
 
end.

Voir 40 message(s) de cette discussion en une page