Bonjour
Je cherche a utiliser la bibliothèque pip locallm
Et même si cela fonctionne les messages semblent inexploitables

Voici un exemple utilisant pip locallm

Préambule , créer un environnement virtuelle

Python -m venu monlocallm
Puis installation de pip install locallm dans l environnement virtuelle

J import le ou les modèles dans le sous répertoire modele de cet environnement

Et je test le code exemple

Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# Déclaration d'une instance de LocalLm
lm = LocalLm(
    LmParams(
        models_dir=r"C:\Env_py\ialocal_lm\models", 
        is_verbose=False,
    )
)
 
# Chargement du modèle en mémoire 
 
lm.load_model("mistral-7b-instruct-v0.1.Q4_K_M.gguf", 8192)
template = "<s>[INST] {prompt} [/INST]"
lm.infer(
    "list the planets in the solar system",
    InferenceParams(
        template=template,
        temperature=0.2,
        stream=True,
        max_tokens=512,
    ),
)
Et la j'ai droit a une flopée d informations de fonctionnement du modèle et aussi a la réponses perdu au travers aussi d informations aberrantes.

Du fait du paramètre stream=True, le texte s'affichera dans le terminal au fur et à mesure de son émission par le modèle. Le prompt template utilisé dépend du modèle : ici le format Mistral convient très bien.

voici ce que j'ai obtenu

Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
Running inference with prompt:
<s>[INST] list the planets in the solar system [/INST]
Inference parameters:
{'stream': True, 'max_tokens': 512, 'temperature': 0.2}
T  Sure
 SureT ,
,T  here
 hereT  is
 isT  a
 aT  list
 listT  of
 ofT  the
 theT  planets
 planetsT  in
 inT  our
 ourT  solar
 solarT  system
 systemT :
:T 
 
 
T 1
1T .
.T  Mer
 MerT cury
curyT 
 
 
T 2
2T .
.T  Ven
 VenT us
usT 
 
 
T 3
3T .
.T  Earth
 EarthT 
 
 
T 4
4T .
.T  Mars
 MarsT 
 
 
T 5
5T .
.T  J
 JT upiter
upiterT 
 
 
T 6
6T .
.T  Sat
 SatT urn
urnT 
 
 
T 7
7T .
.T  U
 UT ran
ranT us
usT 
 
 
T 8
8T .
.T  Ne
 NeT pt
ptT une
une
Franchement etrange

Du fait du paramètre stream=True, le texte s'affichera dans le terminal au fur et à mesure de son émission par le modèle. Le prompt template utilisé dépend du modèle : ici le format Mistral convient très bien.... Gag avec stream = False aussi...

is_verbose bool: booléen permet de jouer sur cette information et il est a false...

Mon but est de récupérer les données produites par le modèle, mais je ne vois pas comment ?


PS pas de tag visible avec une tablette..... Donc le code est au milieu de message désolée