Chercher une chaîne dans un gros fichier texte ou charger un énorme fichier texte

Bonjour à tous

J'ai calculé les 500 millions de décimales de pi et je cherche une chaine de caractère dedans !
Seulement voilà
Comment charger un fichier texte de 500 Mo dans une matrice ou une variable et chercher cherche le ligne de caractère en question sans que ça plante ?

Est ce qu'il vaut mieux lire dans le fichier texte pour chercher cette chaine sans charger le fichier, et dans ce cas comment faire ?

Merci !
Pierre

Bonjour !

Je pense qu'effectivement il serait préférable de lire directement dans le fichier.

Pour cela, vous aurez sûrement besoin de ces fonctions :

mopen
mseek
mtell
mget
mfscanf
...
mclose

La documentation de Scilab est assez bien faite, vous devriez trouver toutes les infos concernant ces fonctions dedans ;).

Le choix de l'une ou l'autre des méthodes est fonction de la puissance de la machine et de la quantité de mémoire RAM disponible.

Prenons l'exemple d'un fichier test.txt qui contient :

apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth

Recherche de la chaine de caractères directement dans le fichier :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
clear
 
string_to_find = "pierre.aumont"
num_char = 1
 
fd = mopen('test.txt','rb')
 
while ~meof(fd) do
 
    M = mgetstr(1, fd)
 
    if M == part(string_to_find,num_char) then
 
        if num_char == length(string_to_find) then
            idx_string_to_find = mtell(fd) - length(string_to_find) + 1
            break
        else
            num_char = num_char + 1
        end
 
    else
        num_char = 1
    end
 
end
 
mclose(fd)
 
if num_char == length(string_to_find) then
    str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"
    disp(part(str, idx_string_to_find:idx_string_to_find+length(string_to_find)-1))
else
    disp("String not found")
end

Chargement du fichier en mémoire avant recherche de la chaine de caractères :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
clear
 
string_to_find = "pierre.aumont"
 
x = fileinfo('test.txt')
 
fd = mopen('test.txt','rb')
 
M = mgetstr(x(1), fd)
 
mclose(fd)
 
idx_string_to_find = strindex(M, string_to_find)
 
if isempty(idx_string_to_find) then
    disp("String not found")
else
    str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"
    disp(part(str, idx_string_to_find:idx_string_to_find+length(string_to_find)-1))
end

La première méthode est relativement naïve. On peut l'optimiser en lisant plusieurs caractères à la fois, plutôt que caractère par caractère.
Il faut juste gérer le cas où la chaine recherchée est commune à plusieurs blocs lus.

Je pense que mgetstr est équivalent à mgeti en terme de mémoire consommée. Mais je ne peux pas le prouver car la fonction whos ne me renvoi pas la taille des variables sur ma machine :koi:

Sinon, on peut remplacer les codes comme ceci :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
clear
 
string_to_find = "pierre.aumont"
string_to_find_ascii = ascii(string_to_find)
num_char = 1
 
fd = mopen('test.txt','rb')
 
while ~meof(fd) do
 
    M = mgeti(1, "c", fd)
 
    if M == string_to_find_ascii(num_char) then
 
        if num_char == length(string_to_find) then
            idx_string_to_find = mtell(fd) - length(string_to_find) + 1
            break
        else
            num_char = num_char + 1
        end
 
    else
        num_char = 1
    end
 
end
 
mclose(fd)
 
if num_char == length(string_to_find) then
    str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"
    disp(part(str, idx_string_to_find:idx_string_to_find+length(string_to_find)-1))
else
    disp("String not found")
end

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
clear
 
string_to_find = "pierre.aumont"
 
x = fileinfo('test.txt')
 
fd = mopen('test.txt','rb')
 
M = mgeti(x(1), "c", fd)
 
mclose(fd)
 
idx_string_to_find = strindex(char(M), string_to_find)
 
if isempty(idx_string_to_find) then
    disp("String not found")
else
    str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"
    disp(part(str, idx_string_to_find:idx_string_to_find+length(string_to_find)-1))
end

Je ne comprends pas la ligne n°30 du premier code (et son équivalent dans les autres méthodes) :

Code:

str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"

Si cette chaîne est le contenu du fichier texte, pourquoi l'avoir en dur dans le code ?

Citation:

Envoyé par Cosinus(x)

Si cette chaîne est le contenu du fichier texte, pourquoi l'avoir en dur dans le code ?

Le bloc à la fin du code ne sert à rien, si ce n'est juste à montrer que l'exemple du code fonctionne. Rien de plus.

Dans un code plus fonctionnel, il faudrait créer une fonction qui renvoi par exemple le résultat de :

Code:

num_char == length(string_to_find)