Discussion :

[pierre.aumont]

Bonjour à tous

J'ai calculé les 500 millions de décimales de pi et je cherche une chaine de caractère dedans !
Seulement voilà
Comment charger un fichier texte de 500 Mo dans une matrice ou une variable et chercher cherche le ligne de caractère en question sans que ça plante ?

Est ce qu'il vaut mieux lire dans le fichier texte pour chercher cette chaine sans charger le fichier, et dans ce cas comment faire ?

Merci !
Pierre

[Cosinus(x)]

Bonjour !

Je pense qu'effectivement il serait préférable de lire directement dans le fichier.

Pour cela, vous aurez sûrement besoin de ces fonctions :

• mopen
• mseek
• mtell
• mget
• mfscanf
• ...
• mclose

La documentation de Scilab est assez bien faite, vous devriez trouver toutes les infos concernant ces fonctions dedans .

[Jerome Briot]

Le choix de l'une ou l'autre des méthodes est fonction de la puissance de la machine et de la quantité de mémoire RAM disponible.

Prenons l'exemple d'un fichier test.txt qui contient :

apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth

Recherche de la chaine de caractères directement dans le fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
clear
 
string_to_find = "pierre.aumont"
num_char = 1
 
fd = mopen('test.txt','rb')
 
while ~meof(fd) do
 
    M = mgetstr(1, fd)
 
    if M == part(string_to_find,num_char) then
 
        if num_char == length(string_to_find) then
            idx_string_to_find = mtell(fd) - length(string_to_find) + 1
            break
        else
            num_char = num_char + 1
        end
 
    else
        num_char = 1
    end
 
end
 
mclose(fd)
 
if num_char == length(string_to_find) then
    str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"
    disp(part(str, idx_string_to_find:idx_string_to_find+length(string_to_find)-1))
else
    disp("String not found")
end

Chargement du fichier en mémoire avant recherche de la chaine de caractères :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
clear
 
string_to_find = "pierre.aumont"
 
x = fileinfo('test.txt')
 
fd = mopen('test.txt','rb')
 
M = mgetstr(x(1), fd)
 
mclose(fd)
 
idx_string_to_find = strindex(M, string_to_find)
 
if isempty(idx_string_to_find) then
    disp("String not found")
else
    str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"
    disp(part(str, idx_string_to_find:idx_string_to_find+length(string_to_find)-1))
end

La première méthode est relativement naïve. On peut l'optimiser en lisant plusieurs caractères à la fois, plutôt que caractère par caractère.
Il faut juste gérer le cas où la chaine recherchée est commune à plusieurs blocs lus.

Je pense que mgetstr est équivalent à mgeti en terme de mémoire consommée. Mais je ne peux pas le prouver car la fonction whos ne me renvoi pas la taille des variables sur ma machine

Sinon, on peut remplacer les codes comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
clear
 
string_to_find = "pierre.aumont"
string_to_find_ascii = ascii(string_to_find)
num_char = 1
 
fd = mopen('test.txt','rb')
 
while ~meof(fd) do
 
    M = mgeti(1, "c", fd)
 
    if M == string_to_find_ascii(num_char) then
 
        if num_char == length(string_to_find) then
            idx_string_to_find = mtell(fd) - length(string_to_find) + 1
            break
        else
            num_char = num_char + 1
        end
 
    else
        num_char = 1
    end
 
end
 
mclose(fd)
 
if num_char == length(string_to_find) then
    str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"
    disp(part(str, idx_string_to_find:idx_string_to_find+length(string_to_find)-1))
else
    disp("String not found")
end

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
clear
 
string_to_find = "pierre.aumont"
 
x = fileinfo('test.txt')
 
fd = mopen('test.txt','rb')
 
M = mgeti(x(1), "c", fd)
 
mclose(fd)
 
idx_string_to_find = strindex(char(M), string_to_find)
 
if isempty(idx_string_to_find) then
    disp("String not found")
else
    str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"
    disp(part(str, idx_string_to_find:idx_string_to_find+length(string_to_find)-1))
end

[Cosinus(x)]

Je ne comprends pas la ligne n°30 du premier code (et son équivalent dans les autres méthodes) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

str = "apizeaumontrtyuiop^poipieruytrdesqpierrewsdfghjkl:;,nbvcxcvbn,;pierre.aumontazertyuiqwdAQ<ertyhuhgfwsdfdsazerth"

Si cette chaîne est le contenu du fichier texte, pourquoi l'avoir en dur dans le code ?

[Jerome Briot]

Si cette chaîne est le contenu du fichier texte, pourquoi l'avoir en dur dans le code ?

Le bloc à la fin du code ne sert à rien, si ce n'est juste à montrer que l'exemple du code fonctionne. Rien de plus.

Dans un code plus fonctionnel, il faudrait créer une fonction qui renvoi par exemple le résultat de :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

num_char == length(string_to_find)