(SearchBinaryInFile) : Copier un string dans un TByteDynArray

Version imprimable

Bonjour à tous :)

La fonction SearchBinaryInFile me pose un problème de syntaxe tout bête. La chaîne de caractère (string) à rechercher dans le fichier : comment la copier dans un TByteDynArray ?

Rien ne passe : ni StrCopy(), ni := , ni quoi que ce soit. Comment faire cette copie d'un string ds un TByteDynArray (donc un tableau de bytes, si je comprends bien) ?

Illustration :
Code:

1 2 3 4 5 6 7 8 9 // Var passées en paramètres à SerchBinary ------- Nom_F_SearchBinary : string; // F où effectuer la recherche Tab_Chn_Rech : TByteDynArray; // Tableau de Bytes à chercher dans le fichier Tab_Positions : TInt64DynArray; // Tableau d'Int64 qui contiendra les positions des occurrences trouvés Rech_Ttes_Occurrences : boolean; // Si True, remplit le tableau Tab_Positions des différentes occurrences Max_Occurrences_Acceptees : integer; // Si le nombre d'occurrences trouvées atteint ce nombre, la recherche s'arrête Accepter_Chevauchement_Occurrences : boolean; // (exemple : on cherche coco; si le fichier contient cocococo : True = 3, False = 2) Nb_Occurrences_Trouvees : integer; // retourné par la fonction
La fonction est explicitée ici , mais je bloque :/ : http://www.developpez.net/forums/d78...e/#post4542214

Voici ce que je fais, mais "Erreur d'étendue" à l'exécution :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
Procedure Copier_String_Sur_DynArray;  // DEBUG
Var   i : integer;
      Car_Pointe : char;
 
begin
 
      For i := 1 to (Longueur_Chn -1) DO
          begin
                Car_Pointe := Chn_Recherchee[1];
                Tab_Chn_Rech[i] := Byte(Car_Pointe);
          end;
 
end;

24/12/2010, 11h30
sjrd
Sous Delphi < 2009, ou avec des AnsiString :
Code:

1 2 3 4 5 6 7 8 function StringToByteArray(const S: AnsiString): TByteDynArray; var Len: Integer; begin Len := Length(S); SetLength(Result, Len); Move(S[1], Result[0], Len); end;
Sous Delphi >= 2009, les chaînes sont Unicode. Donc il faut savoir dans quel encodage tu veux transformer ta chaîne avant de rechercher la chaîne de bytes dans le fichier. Puis tu as la méthode GetBytes de TEncoding.

Donc si tu veux travailler en UTF-8 :

Code:

Bytes := TEncoding.UTF8.GetBytes(S);
24/12/2010, 13h11
bvsud
Citation:
Envoyé par sjrd

Sous Delphi < 2009, ou avec des AnsiString :

Code:

1 2 3 4 5 6 7 8 function StringToByteArray(const S: AnsiString): TByteDynArray; var Len: Integer; begin Len := Length(S); SetLength(Result, Len); Move(S[1], Result[0], Len); end;

Sous Delphi >= 2009, les chaînes sont Unicode. Donc il faut savoir dans quel encodage tu veux transformer ta chaîne avant de rechercher la chaîne de bytes dans le fichier. Puis tu as la méthode GetBytes de TEncoding.

Donc si tu veux travailler en UTF-8 :

Code:

Bytes := TEncoding.UTF8.GetBytes(S);
Ca, c'est une piste ! Merci :ccool: Je vais tester ça tout de suite.
24/12/2010, 15h48
bvsud
Citation:
Envoyé par sjrd

Sous Delphi < 2009, ou avec des AnsiString :

Code:

1 2 3 4 5 6 7 8 function StringToByteArray(const S: AnsiString): TByteDynArray; var Len: Integer; begin Len := Length(S); SetLength(Result, Len); Move(S[1], Result[0], Len); end;

Sous Delphi >= 2009, les chaînes sont Unicode. Donc il faut savoir dans quel encodage tu veux transformer ta chaîne avant de rechercher la chaîne de bytes dans le fichier. Puis tu as la méthode GetBytes de TEncoding.

Donc si tu veux travailler en UTF-8 :

Code:

Bytes := TEncoding.UTF8.GetBytes(S);
OK. Ca marche (je suis en D7) :je peux appeler SearchBinaryToFile(), avec ta fonction ;)

En revanche, c'est SearchBinary elle-même qui semble foirer. Elle ne trouve systématiquement pas les chaînes de caractères que je lui passe. Aléatoirement oui, ou non . Tests effectués sur fichiers HTM et RTF . Pr les fichiers RTF, Delphi a ce qu'il faut : FindText(). Mais pour les HTM, HTML etc, là, FindText() s'égare...
24/12/2010, 16h36
ShaiLeTroll

Sinon, il y a le code de SearchStringInFile juste en dessous de SearchBinaryInFile dans le lien que tu as cité comment chercher une valeur hex dans un fichier binaire "file of byte"

de D4 à D2007, cela fonctione sans soucis
Après D2009, il faudra passer à AnsiString et AnsiChar dans le Code

Et donc, la fonctionne trouve pas le mot que tu recherches, cela m'intéresse, je pourrais peut-être t'aider :mouarf:

Attention, c'est une recherche binaire pur !
si tu cherche "toto" dans un HTML, cela ne trouve que "toto" mais pas "t<B>ot<\B>o"
Je fais cette remarque parce FindText lui cherche du Texte dans un RTF en retirant les balises de mise en forme
Evidemment FindText ne traitant que du RTF, cela ne peut pas traiter du HTML
Et vouloir utiliser FindText sur du HTML c'est que tu n'as pas compris l'aide et
que tu ne mesures par l'importance des balises de mise en forme et de la différence entre un fichier texte simple et un fichier plus évolué !

Avec TWebBrowser.Naviagate2(FichierLocal), puis OleDoc->Body->InnerHTML puis une fonction Pos, tu peux bidouiller un extracteur de Text de fichier HTML
c'est un peu moche !
24/12/2010, 16h47
bvsud

Citation:

Envoyé par ShaiLeTroll

Sinon, il y a le code de SearchStringInFile juste en dessous de SearchBinaryInFile dans le lien que tu as cité comment chercher une valeur hex dans un fichier binaire "file of byte"

de D4 à D2007, cela fonctione sans soucis
Après D2009, il faudra passer à AnsiString et AnsiChar dans le Code

Et donc, la fonctionne trouve pas le mot que tu recherches, cela m'intéresse, je pourrais peut-être t'aider :mouarf:

Attention, c'est une recherche binaire pur !
si tu cherche "toto" dans un HTML, cela ne trouve que "toto" mais pas "t<B>ot<\B>o"
Je fais cette remarque parce FindText lui cherche du Texte dans un RTF en retirant les balises de mise en forme
Evidemment FindText ne traitant que du RTF, cela ne peut pas traiter du HTML
Et vouloir utiliser FindText sur du HTML c'est que tu n'as pas compris l'aide et
que tu ne mesures par l'importance des balises de mise en forme et de la différence entre un fichier texte simple et un fichier plus évolué !

Avec TWebBrowser.Naviagate2(FichierLocal), puis OleDoc->Body->InnerHTML puis une fonction Pos, tu peux bidouiller un extracteur de Text de fichier HTML
c'est un peu moche !

C'est toi l'auteur de cette fonction, non :D ? Elle est super... mais je dois lui passer de mauvais paramètres. Je te mets le code en ligne, attends ;)
25/12/2010, 08h17
bvsud

Citation:

Envoyé par ShaiLeTroll

Sinon, il y a le code de SearchStringInFile juste en dessous de SearchBinaryInFile dans le lien que tu as cité comment chercher une valeur hex dans un fichier binaire "file of byte"

de D4 à D2007, cela fonctione sans soucis
Après D2009, il faudra passer à AnsiString et AnsiChar dans le Code

Et donc, la fonctionne trouve pas le mot que tu recherches, cela m'intéresse, je pourrais peut-être t'aider :mouarf:

Attention, c'est une recherche binaire pur !
si tu cherche "toto" dans un HTML, cela ne trouve que "toto" mais pas "t<B>ot<\B>o"
Je fais cette remarque parce FindText lui cherche du Texte dans un RTF en retirant les balises de mise en forme
Evidemment FindText ne traitant que du RTF, cela ne peut pas traiter du HTML
Et vouloir utiliser FindText sur du HTML c'est que tu n'as pas compris l'aide et
que tu ne mesures par l'importance des balises de mise en forme et de la différence entre un fichier texte simple et un fichier plus évolué !

Avec TWebBrowser.Naviagate2(FichierLocal), puis OleDoc->Body->InnerHTML puis une fonction Pos, tu peux bidouiller un extracteur de Text de fichier HTML
c'est un peu moche !

Ca maaaaaarche !!! Fantastique !! :pingoin2:

Dis-donc, ShaiLeTroll, on ne t'a jamais dit que tu avais du génie, toi ? :hola:
27/12/2010, 11h43
ShaiLeTroll

Merci Merci !

Quel était le problème ?
27/12/2010, 13h39
bvsud

Citation:

Envoyé par ShaiLeTroll

Merci Merci !

Quel était le problème ?

Je n'arrivais pas à copier un string sur TDynArray. Bon. Puios on m'a expliqué comment. Mais c'est carrément plus simple SearchBinaryInFile ;)

Le fin du fin, ce serait une fonction comme celle-ci, mais "scrutant" un buffer mémoire, sans forcément passer par l'ouverture d'un fichier. :ccool:
27/12/2010, 14h40
ShaiLeTroll

Pour la Mémoire, si c'est des chaines, Pos et PosEx !

Sinon, c'est juste une boucle sur deux Pointeurs, voir la fonction CompareMem (celle codée en pascal, pas celle en ASM)
12/04/2011, 13h17
bvsud

Citation:

Envoyé par ShaiLeTroll

Pour la Mémoire, si c'est des chaines, Pos et PosEx !

Sinon, c'est juste une boucle sur deux Pointeurs, voir la fonction CompareMem (celle codée en pascal, pas celle en ASM)

Hélas non ! Extrait de l'aide de Delphi :
Description

CompareMem effectue une comparaison binaire de Length octets de mémoire référencés par P1 et P2.CompareMem renvoie true si la mémoire référencée par P1 est identique à celle de P2.

Je ne compare pas, je voudrais TROUVER une occurrence de la châine X ds un bloc mémoire :(

Or, mon bloc mémoire n'est pas un String : il est non typé. C'est juste un buffer de bytes. Pos() et PosEx() ne travaillent que sur des string. Le buffer où je vais chercher est une concaténation de fichiers RTF et HTML déjà chargée en mémoire.

D'où mon intérêt pour SearchBinary ! Malheureusement, il me faut l'adapter à mon prog, évitant tout chargement de fichier. Le buffer où SearchBinary doit chercher, il est déjà en RAM, pointé par un pointeur "void" : Pointer

Je cherche à extraire de SearchBinary toute référence à un fichier, pour la faire bosser sur un buffer : la tableau SearchBuf me va très bien.... Il me faudrait juste la routine de recherche sur le tableau de bytes. C'est elle que j'essaie d'isoler, pour ne passer aucun nom de fichier en paramètre, mais un pointeur sur un buffer.

Pas évident... Avec tous ces if/else :D
12/04/2011, 14h30
Paul TOTH

et pourquoi ne places-tu pas ton HTML/RTF dans un string ?!

Citation:

Envoyé par Paul TOTH

et pourquoi ne places-tu pas ton HTML/RTF dans un string ?!

:mouarf:, il n'a pas envie d'utiliser PosEx que veux-tu ! :roll:

qu'est qui empêche d'utiliser CompareMem dans une boucle, en incrémentant d'un le pointeur du bloc mémoire à chaque itération !

SearchBinaryInFile étant dédié au fichier utilise un buffer de lecture ce qui complique le code évidemment mais devient totalement inutile pour le recherche dans un binaire !

D'ailleurs, la version du forum n'est pas la bonne

Code:

if iCountFound = Threshold then

doit être

Code:

if Result = Threshold then

Mais bon, c'est pas grave !

Le code version buffer, en conservant toutes les fonctions devraient être ça

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
{* -----------------------------------------------------------------------------
la Fonction SearchBinaryInBuffer Permet de Chercher un Tableau de Byte dans un Buffer
@param Buffer Pointeur sur une Zone Mémoire de 4Go maximum
@param BufferLen Longueur de la Zone Mémoire
@param SearchBinary Tableau de Byte à chercher dans la Zone Mémoire
@param OffSets Tableau d'Entier qui contiendra les positions de occurences trouvés
@param KeepOffSet Boolean True rempli OffSets, False, ne rempli pas OffSets
@param Threshold Si le nombre de Tableau de Byte trouvé atteind ce nombre, la Recherche s'arrête
@param AcceptOverlap Boolean True si le mot à chercher est une répétition cela compte les occurences qui se chevauche, False chaque octet d'une occurence ne peut être comptabilisé qu'une seule fois (exemple on chercher coco, le fichier contient cocococo, True = 3, False = 2)
@return Nombre d'occurence Trouvé
------------------------------------------------------------------------------ }
function SearchBinaryInBinary(const Buffer: Pointer; BufferLen: Cardinal; const SearchBinary: TByteDynArray; out OffSets: TCardinalDynArray; KeepOffSet: Boolean = False; Threshold: Integer = MaxInt; AcceptOverlap: Boolean = False): Integer;
var
   iReaded: Cardinal;
   SearchLen: Cardinal;
   BufferCurPos: PByte;
   WantedCurPos: PByte;
begin
   Result := 0;
 
   SearchLen := Length(SearchBinary);
   if SearchLen <= 0 then
      Exit;
 
   BufferCurPos := Buffer;
   WantedCurPos := @SearchBinary[0];
   iReaded := 0;
 
   while iReaded < BufferLen do
   begin
      if CompareMem(BufferCurPos, WantedCurPos, SearchLen) then
      begin
         Inc(Result);
 
         if KeepOffSet then
         begin
            SetLength(OffSets, Length(OffSets) + 1);
            OffSets[High(OffSets)] := Cardinal(BufferCurPos) - Cardinal(Buffer); // Si un jour 64Bits, Cardinal -> Int64 ?
         end;
 
         if Result = Threshold then
           Exit;
        if AcceptOverlap then
        begin
           Inc(BufferCurPos, 1);
           Inc(iReaded, 1);
        end
        else
        begin
           Inc(BufferCurPos, SearchLen);
           Inc(iReaded, SearchLen);
        end;
      end
      else
      begin
         Inc(BufferCurPos, 1);
         Inc(iReaded, 1);
      end;
   end;
end;

cela s'utilise avec un
- @array[0], si tu as stocké ton RTF dans array of byte
- Stream.Memory si tu as stocké ton RTF TMemoryStream
- Avec tout pointeur
- avec @AnsiString[1], si tu as stocké ton RTF dans une chaine, voir le commentaire de Paul Toth
...

Citation:

Envoyé par ShaiLeTroll

Code:

if iCountFound = Threshold then

doit être

Code:

if Result = Threshold then

Mais bon, c'est pas grave !

Le code version buffer, en conservant toutes les fonctions devraient être ça

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
{* -----------------------------------------------------------------------------
la Fonction SearchBinaryInBuffer Permet de Chercher un Tableau de Byte dans un Buffer
@param Buffer Pointeur sur une Zone Mémoire de 4Go maximum
@param BufferLen Longueur de la Zone Mémoire
@param SearchBinary Tableau de Byte à chercher dans la Zone Mémoire
@param OffSets Tableau d'Entier qui contiendra les positions de occurences trouvés
@param KeepOffSet Boolean True rempli OffSets, False, ne rempli pas OffSets
@param Threshold Si le nombre de Tableau de Byte trouvé atteind ce nombre, la Recherche s'arrête
@param AcceptOverlap Boolean True si le mot à chercher est une répétition cela compte les occurences qui se chevauche, False chaque octet d'une occurence ne peut être comptabilisé qu'une seule fois (exemple on chercher coco, le fichier contient cocococo, True = 3, False = 2)
@return Nombre d'occurence Trouvé
------------------------------------------------------------------------------ }
function SearchBinaryInBinary(const Buffer: Pointer; BufferLen: Cardinal; const SearchBinary: TByteDynArray; out OffSets: TCardinalDynArray; KeepOffSet: Boolean = False; Threshold: Integer = MaxInt; AcceptOverlap: Boolean = False): Integer;
var
   iReaded: Cardinal;
   SearchLen: Cardinal;
   BufferCurPos: PByte;
   WantedCurPos: PByte;
begin
   Result := 0;
 
   SearchLen := Length(SearchBinary);
   if SearchLen <= 0 then
      Exit;
 
   BufferCurPos := Buffer;
   WantedCurPos := @SearchBinary[0];
   iReaded := 0;
 
   while iReaded < BufferLen do
   begin
      if CompareMem(BufferCurPos, WantedCurPos, SearchLen) then
      begin
         Inc(Result);
 
         if KeepOffSet then
         begin
            SetLength(OffSets, Length(OffSets) + 1);
            OffSets[High(OffSets)] := Cardinal(BufferCurPos) - Cardinal(Buffer); // Si un jour 64Bits, Cardinal -> Int64 ?
         end;
 
         if Result = Threshold then
           Exit;
        if AcceptOverlap then
        begin
           Inc(BufferCurPos, 1);
           Inc(iReaded, 1);
        end
        else
        begin
           Inc(BufferCurPos, SearchLen);
           Inc(iReaded, SearchLen);
        end;
      end
      else
      begin
         Inc(BufferCurPos, 1);
         Inc(iReaded, 1);
      end;
   end;
end;

Ben voilà :ccool: C'est exactement ce que je cherchais.
Mais :
1/ La fn me retourne 0 même en pointant un buffer contenant effectivement la chaîne . Je dois mal la paramétrer (cf. code ci-dessous)
2/ Elle respecte la casse ou non ?

Code:

1
2
3
4
5
6
7
8
 
Retour_SearchBinary := // SearchBinaryInBinary(Ptr_Mob_Buffer_Base_Concatenee, // Pointer
                             Surface_Fiche_Ds_Base,
 	                     Tab_SearchBinary,
			     Tab_Cardinaux ,
    			     False, // KeepOffset
			     1,  // Une seule occurrence suffit
			     False);  // AcceptOverlap

Je faute quelque part, mais où :calim2:?

Citation:

Ben voilà C'est exactement ce que je cherchais.

8O
J'ai un peu l'impression que tu attends patiemment que l'on fasse TON Travail !
Tu n'oublieras pas à nous verser ton salaire sur nos comptes !

Citation:

Elle respecte la casse

C'est une blaque ?
Comparaison binaire, il n'y a plus de notion de lettre, de casse, c'est des octets brut !
Donc oui cela respecte la casse !
Tu ne sais même pas faire la différence entre une manipulation binaire et une manipulation de texte !
Sais-tu ce que tu fais ?

On est pas devin !
même si je lis très bien dans la cerboise, le paté de lapin en croute et dans le sanglier laqué !
Surface_Fiche_Ds_Base c'est quoi ?
Est-ce la longueur de Ptr_Mob_Buffer_Base_Concatenee ?

Commence par une recherche simple, voici ma fonction de débogage de SearchBinaryInBinary

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
procedure Toto(AStrings: TStrings);
const
  Zone: array[1..32] of Byte = (1, 2, 3, 4, 5, 6, 7, 8, 1, 2, 3, 4, 1, 2, 3, 4, 5, 6, 7, 8, 1, 2, 3, 4, 1, 2, 3, 4, 1, 2, 3, 4);
  Search4: array[1..4] of Byte = (1, 2, 3, 4);
  Search8: array[1..8] of Byte = (1, 2, 3, 4, 5, 6, 7, 8);
  SearchO: array[1..8] of Byte = (1, 2, 3, 4, 1, 2, 3, 4);
var
  Search: TByteDynArray; // mon C++ Builder refuse que je passe Search4, Search8 et SearchO directement à SearchBinaryInBinary, je ne sais pas si il y a une différence entre Delphi et le convertisseur Pascal\C++
  OffSets: TCardinalDynArray;
  I: Integer;
begin
  SetLength(Search, Length(Search4));
  for I := Low(Search) to High(Search) do
    Search[I] := Search4[I + 1];
 
  AStrings.Add('--- 4 normal');
 
  SearchBinaryInBinary(@Zone[1], 32, Search, OffSets, True);
  for I := Low(OffSets) to High(OffSets) do
    AStrings.Add(IntToStr(OffSets[I]));
 
  AStrings.Add('--- 4 over');
 
  SearchBinaryInBinary(@Zone[1], 32, Search, OffSets, True, MaxInt, True);
  for I := Low(OffSets) to High(OffSets) do
    AStrings.Add(IntToStr(OffSets[I]));
 
  SetLength(Search, Length(Search8));
  for I := Low(Search) to High(Search) do
    Search[I] := Search8[I + 1];
 
  AStrings.Add('--- 8 normal');
 
  SearchBinaryInBinary(@Zone[1], 32, Search, OffSets, True);
  for I := Low(OffSets) to High(OffSets) do
    AStrings.Add(IntToStr(OffSets[I]));
 
  AStrings.Add('--- 8 over');
 
  SearchBinaryInBinary(@Zone[1], 32, Search, OffSets, True, MaxInt, True);
  for I := Low(OffSets) to High(OffSets) do
    AStrings.Add(IntToStr(OffSets[I]));
 
  SetLength(Search, Length(SearchO));
  for I := Low(Search) to High(Search) do
    Search[I] := SearchO[I + 1];
 
  AStrings.Add('--- O normal');
 
  SearchBinaryInBinary(@Zone[1], 32, Search, OffSets, True);
  for I := Low(OffSets) to High(OffSets) do
    AStrings.Add(IntToStr(OffSets[I]));
 
  AStrings.Add('--- O over');
 
  SearchBinaryInBinary(@Zone[1], 32, Search, OffSets, True, MaxInt, True);
  for I := Low(OffSets) to High(OffSets) do
    AStrings.Add(IntToStr(OffSets[I]));
end;

Lorsque l'on utilise une fonction pour la 1ere fois, il faut passer par une phase d'essai avec des éléments parfaitement maîtrisé !

Bon Courage !
Adieu !