Identifier les mots dans une chaine-string et leurs longueurs

Version imprimable

Voir 40 message(s) de cette discussion en une page

26/04/2012, 22h21
PeD012

Identifier les mots dans une chaine-string et leurs longueurs

Bonsoir,

J'ai pas mal cherché, bien galéré, un peu trouvé mais pas vraiment ce que je désire.
Alors que d'autres langages gèrent très bien les extractions de mots dans un chaine ( rexx, sas, ... ),
il semble que VB ait un peu de difficulté. Enfin MOI j'ai des difficultés.

J'utilise la fionction? expression? split mais je ne la maitrise pas.
Deux problèmes à résoudre : les mots sont séparés par plusieurs espaces non connus ( je parle de lignes dans un fichier ).
Ensuite un problème de performance. Essentiel.

exemple j'ai une chaine

Code:

00000049910066 360 593626

Je voudrais connaitre
1. le nombre de mots à partir de la position 11 de la ligne
2. reconnaitre ces mots et pouvoir determiner leur longueur

Ici
3 pour le nombre de mots
et
longueur mot 1 = 4
longueur mot 2 = 3
longueur mot 3 = 6

Le Split me ramène 13 ???? comme ? nombre de mots? position du blanc?
Je ne m'y retrouve pas.

Merci de vos indications vers lequelles je dois aller.

Pierre
26/04/2012, 22h36
shayw

Salut

tes chaines sont toujours de la meme structure ?

XXXXXXXXX YYYYYYYY YYYYYY

peut etre

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 Dim mystr As String
        Dim mots() As String
        Dim listwordlength As New List(Of Integer)
        mystr = "00000049910066          360       593626"
        mots = mystr.Split(" "c)
        For iter = 0 To mots.Length - 1
            If mots(iter) <> String.Empty Then
                If iter = 0 Then
                    listwordlength.Add(mots(iter).Substring(10).Length)
                Else
                    listwordlength.Add(mots(iter).Length)
                End If
 
            End If
        Next

26/04/2012, 23h08
PeD012
Merci des réponses rapides.

Non chaque ligne contient quasi tout le temps 3 mots, mais de longueurs et positions variables.
Dans certains cas rares, un mot , deux mots ou même que des espaces ( blancs)
Code:

1 2 3 9999999999 999 99999 888888888 88 88888888 77777777777777 777 77777777
Pour le code fourni ( merci ), il est un peu tard. Mais j'essaie demain et reviens avec mes essais.

Pierre

Citation:

Alors que d'autres langages gèrent très bien les extractions de mots dans un chaine ( rexx, sas, ... ), il semble que VB ait un peu de difficulté.

Sinon tu as les REGEX, qui sont sont fait pour les recherche d'expression dans des chaînes de caractères.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 Sub Main() Dim str = "00000049910066 360 593626" str = str.Substring(10) 'recherche de mots Dim reg As New Regex("[0-9]+") Dim results = reg.Matches(str) 'Nombre de mot Console.WriteLine("Nombre de mot: {0}", results.Count) 'Liste des mots et leurs longueurs For Each r As Match In results Dim word As String = r.Value Console.WriteLine("mot: {0}, longueur: {1}", {word, word.Length}) Next End Sub
Citation:

Nombre de mot: 3
mot: 0066, longueur: 4
mot: 360, longueur: 3
mot: 593626, longueur: 6

Tu devrais lire le cours, tu apprendrais plein de choses..

27/04/2012, 08h10
DonQuiche

Bonjour.
Voici le code pour séparer les mots en virant les chaînes vides. Note l'usage de StringSplitOptions. Il faut penser à regarder les surcharges (et utiliser le débogueur pour comprendre ce qui cloche). ;)

En C# :

Code:

root.Split(new char[] { ' ' }, StringSplitOptions.RemoveEmptyEntries);

Conversion automatique vers VB :

Code:

root.Split(New Char() {" "C}, StringSplitOptions.RemoveEmptyEntries)

PS : Split est une "méthode". Au pire, "fonction".

PPS : Pour le coup des mots à partir de la position N, on cherchera d'abord l'index k du premier espace à partir de la position N - 1 avec String.IndexOf(" "C, N-1) puis on utilisera String.Substring(k + 1). Gaffe au cas où k est trop grand.

PPPS : Si un problème de performances est constaté, on peut tenter de désactiver l'interning des strings (google, "disable string interning dotnet") ou bien d'utiliser une approche plus manuelle en n'utilisant qu'IndexOf et pas Split si on n'a pas besoin de connaître les mots eux-mêmes mais seulement leurs positions. Pour IndexOf, la surcharge avec StringComparaison doit pouvoir permettre de booster encore le tout. Enfin, si tout cela finit par être concaténé, c'est sans doute là qu'est le problème et on gagnera à utiliser un StringBuilder.

Pour Shayw

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Dim mystr As String
        Dim mots() As String
        Dim listwordlength As New List(Of Integer)
        mystr = "00000049910066          360       593626"
        mots = mystr.Split(" "c)
        For iter = 0 To mots.Length - 1
            If mots(iter) <> String.Empty Then
                If iter = 0 Then
                    listwordlength.Add(mots(iter).Substring(10).Length)
                Else
                    listwordlength.Add(mots(iter).Length)
                End If
 
            End If
        Next

J'ai quelques problèmes avec ce code.
"mots" retourne length=18 donc la liste va contenir 18 items, alors que je n'en demande que 3.
Il faudrait utiliser un nouvel index "iter2" par exemple à n'incrémenter qu'en cas de mots(iter) <> string.empty, de façon que le add à la liste soir indexé sur cet index.

Quelque chose comme ;

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Dim mystr As String
        Dim iter2 as integer = 0
        Dim mots() As String
        Dim listwordlength As New List(Of Integer)
        mystr = "00000049910066          360       593626"
        mots = mystr.Split(" "c)
        For iter = 0 To mots.Length - 1
            If mots(iter) <> String.Empty Then
                iter2 = iter2 + 1 
                If iter = 0 Then
                    listwordlength.Add(mots(iter2).Substring(10).Length)
                Else
                    listwordlength.Add(mots(iter2).Length)
                End If
 
            End If
        Next

... et je me rends compte que pour mon application, je dois aussi avoir la position de départ de chaque mot. Comment recevoir cela?r

Tests : 5 secondes pour 10.000.000 passes en boucle.

Merci

Pierre

27/04/2012, 21h42
PeD012

A -N4w4k-

Cela fonctionne très bien avec les REGEX et le code fourni,
mais .....mais un énorme et rédhibitoire défaut, la performance.

103 secondes pour 10.000.000 de processes.

A côté des 5 secondes de mon autre test. !!!!

Or la performance est essentielle en ce sens que je traite des millions de records, et que évidemment le split n'est pas le seul process de mon application.

Merci néanmoins de m'avoir montrer REGEX et le cours.

Pierre
27/04/2012, 23h34
meziantou

Tu peux essayer de créer ta Regex avec l'option Compiled
http://www.codinghorror.com/blog/200...o-compile.html
28/04/2012, 10h45
chrismonoye
Bonjour,
Citation:
Envoyé par PeD012

Code:

1 2 mots = mystr.Split(" "c)

J'ai quelques problèmes avec ce code.
"mots" retourne length=18 donc la liste va contenir 18 items, alors que je n'en demande que 3.
Normal, chaque espace entre deux espaces est comptabilisé.
DonQuiche t'a donné la solution:

Code:

mots = mystr.Split(New Char() {" "c}, StringSplitOptions.RemoveEmptyEntries)
28/04/2012, 12h18
PeD012

A chrismonoye,

merci, mais j'experimentais chaque code et je les commentais séparémment.
J'avais vu ( testé ) que r"emoveemptyentries" était bien ce que je cherchais.

Reste la possibilité d'avoir la positon de départ de chque mot.

Pierre

Code:

1
2
3
4
5
6
        Dim str = "00000049910066          360       593626"
        str = str.Substring(10)
        Dim mots = str.Split(New Char() {" "c}, StringSplitOptions.RemoveEmptyEntries)
        Dim i1 = str.IndexOf(mots(0))
        Dim i2 = str.Substring(i1).IndexOf(mots(1)) + i1
        Dim i3 = str.Substring(i1 + i2).IndexOf(mots(2)) + i1 + i2

Peut-être comme ça..

28/04/2012, 13h39
Sankasssss

@-N4w4k- :
c'est une bonne piste ~~mais malheureusement si deux mot sont les mêmes il y aura un souci.~~ EDIT : non vu les substring, mais je reste persuadé qu'un algo perso serait plus performant ^^

Dans ce cas ci je pense que le plus performant serait de faire l’algorithme soit même, c'est vraiment pas compliqué, il suffit de boucler sur les chars du string et de faire le traitement approprié...
28/04/2012, 15h12
Graffito

Citation:

il suffit de boucler sur les chars du string et de faire le traitement approprié...

+1, c'est l'application basique des automates à états finis, ici 2 états : mot_ cherché, mot_en_cours et des transitions dépendant du caractère rencontré (blanc/fin de ligne ou autre caractère).

bonjour PeD012
comme l'as dit shayw,tu es sur la bonne voie sauf qu'il faut fait faire attention à l'utilisation de split .... car on obtient chaque mot simplement comme ceci:

Code:

1
2
3
4
5
6
7
 
 'spliting words not characters.
        mots = Split(myStr)
        ' au lieu d'ecrire ceci :
        mots = myStr.Split(" "c)
        ' encore cette forme alambiquee:
        mots = myStr.Split(New Char() {" "c}, StringSplitOptions.RemoveEmptyEntries)

ensuite toujours pour reprendre l'exemple de shayw et si tu veux recuperer l'index de chaque mot tu peux reprendre ton code modifie comme suit:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
 
Public Class Form1
    Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
        Dim mystr As String
 
        mystr = "00000049910066          360       593626"
        IdentifieMots(mystr)
        mystr = "888888888   88    88888888"
        IdentifieMots(mystr)
 
        mystr = "77777777777777           777       77777777"
        IdentifieMots(mystr)
    End Sub
    Private Sub IdentifieMots(ByVal myStr As String)
        Dim listwordlength As New List(Of Integer)
        Dim mots() As String
 
        'spliting words not characters.
        mots = Split(myStr)
 
        mots = Split(myStr)
        '  mots holds {"00000049910066", "          ", "360", "       ", "593626"}
        Dim LastNonEmpty As Integer = -1
        Dim indexMot As Integer = 0
        For i As Integer = 0 To mots.Length - 1
            If mots(i) <> "" Then
                LastNonEmpty += 1
                mots(LastNonEmpty) = mots(i)
                listwordlength.Add(indexMot)
                indexMot = indexMot + mots(LastNonEmpty).Length
            End If
        Next
        ReDim Preserve mots(LastNonEmpty)
        ' mots now holds {"00000049910066", "360", "593626"}
        For Each s As String In mots
            Me.TextBox1.Text = Me.TextBox1.Text & s & vbCrLf
 
        Next
        'les index de list commencent ....bien entendu  à zero
        For i As Integer = 0 To listwordlength.Count - 1
            Me.TextBox2.Text = Me.TextBox2.Text & listwordlength(i).ToString & vbCrLf
 
        Next
    End Sub
 
 
 
End Class

bon code..............

Je donnes quand même une solution avec algo perso qui est à mon avis, comme je l'ai dit plus haut, plus performant qu'avec des splits et des redim... (Il serait intéressant à tester sur des collections de 10.000.000 de phrases comme demandé par PeD012)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
Imports System.Text
 
Public Class Form1
 
    Private Sub Form1_Load(sender As System.Object, e As System.EventArgs) Handles MyBase.Load
        Dim laPhrase As New phrase("00000049910066          360       593626")
        laPhrase.traite()
        Debug.WriteLine(laPhrase.ToString)
    End Sub
 
    Private Class phrase
        Property laPhrase As String
        Property mots As List(Of mot)
 
        Public Sub New(laPhrase As String)
            _laPhrase = laPhrase
        End Sub
 
        Public Sub traite()
            mots = New List(Of mot)
            Dim motEnCours As mot = Nothing
            Dim sb As New StringBuilder
            Dim oldChar As Char = " "
 
            For i As Integer = 10 To laPhrase.Length - 1
                If laPhrase(i) <> " " Then
                    ' si le char précédent était un blanc
                    If oldChar = " " Then
                        motEnCours = New mot
                        motEnCours.index = i
                        sb.Clear()
                        mots.Add(motEnCours)
                    End If
                    sb.Append(laPhrase(i))
                Else
                    If oldChar <> " " Then
                        motEnCours.leMot = sb.ToString
                    End If
                End If
                oldChar = laPhrase(i)
            Next
 
            If oldChar <> " " Then
                motEnCours.leMot = sb.ToString
            End If
        End Sub
 
        Public Overrides Function ToString() As String
            Dim sb As New StringBuilder
            sb.Append("Phrase : ")
            sb.AppendLine(laPhrase)
 
            If mots IsNot Nothing Then
                For Each leMot As mot In mots
                    sb.Append(vbTab)
                    sb.AppendLine(leMot.ToString)
                Next
            End If
 
            Return sb.ToString
        End Function
    End Class
 
    Private Class mot
        Property leMot As String
        Property index As Integer
 
        Public Overrides Function ToString() As String
 
            Return leMot & ", index : " & index & " longueur : " & leMot.Length
        End Function
 
    End Class
End Class

Citation:

Envoyé par sortie du debug

Phrase : 00000049910066 360 593626
0066, index : 10 longueur : 4
360, index : 24 longueur : 3
593626, index : 34 longueur : 6

01/05/2012, 14h54
PeD012

Merci pour ces précisions et codes.

Je vais expérimenter tout cela avec du volume pour mesurer la performance.

PS : pour information, cette routine doit s'inscrire dans une application plus vaste qui gère des comparaisons de fichiers. Et évidemment ces fichiers pouvant venir de n'importe qui , de n'importe où ( enfin pas de Mars je crois ), ils peuvent être de tailles minuscules à immenses ( fichiers d'entreprises ). Je les predns comme ils viennent.

Salut ... à bientôt

Pierre

Bonjour,
Sankasssss, j'ai testé ton algo sur un fichier de plus de 3 millions de lignes composées de 0 à 3 mots, soit près de 10 millions de boucles (ce dont parlait PeD012).
Il est plus lent que l'utilisation d'un Split :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
    Dim listWordsFile As List(Of List(Of Word))
 
    Private Sub MainWords()
 
        Try
            Dim sWatch As Stopwatch = Stopwatch.StartNew()
            listWordsFile = New List(Of List(Of Word))
 
            ' Create an instance of StreamReader to read from a file.
            ' The using statement also closes the StreamReader.
            Using sr As New StreamReader(LoadFile)
 
                Dim line As String
 
                ' Read and display lines from the file until the end of
                ' the file is reached.
                Do
                    line = sr.ReadLine()
                    If Not (line Is Nothing) Then
 
                        ' Split string based on spaces
                        Dim words As String() = line.Split(New Char() {" "c}, StringSplitOptions.RemoveEmptyEntries)
 
                        Dim listWordsLine As New List(Of Word)
                        Dim start As Integer = 0
 
                        For Each m In words
                            Dim mt As New Word(m)
                            mt.val = m
                            mt.length = m.Length
                            mt.position = line.IndexOf(m, start)
                            start = mt.length + mt.position
                            listWordsLine.Add(mt)
                        Next
                        listWordsFile.Add(listWordsLine)
                    End If
                Loop Until line Is Nothing
            End Using
            sWatch.Stop()
 
            txtResult.AppendText("Elapsed time: " & sWatch.Elapsed.ToString & "  , Nbre groupes de words : " & listWordsFile.Count & vbCrLf)
        Catch e As Exception
            ' Let the user know what went wrong.
            Console.WriteLine("The file could not be read:")
            Console.WriteLine(e.Message)
        End Try
 
    End Sub

Avec une petite class pour les mots contenus dans les lignes avec les éléments qui nous intéressent :

Code:

1
2
3
4
5
6
7
8
9
10
Public Class Word
 
    Public position As Integer
    Public val As String
    Public length As Integer
 
    Public Sub New(ByVal mt As String)
        Me.val = mt
    End Sub
End Class

Le traitement dure environ 7 secondes, le chargement dans une liste est coùteux, on passe à 20 secondes.
C'est là que réside le soucis de performance, comment stocker les données?.
Car l'intérêt est de récupérer les informations et en attendant mieux, pour connaitre celles d'une ligne quelconque (numLigne) :

Code:

1
2
3
4
5
6
7
    Private Sub InfoLine(ByVal numLigne As Integer)
        Console.WriteLine("La ligne " & numLigne & " est composée de : " & listWordsFile.Item(numLigne).Count & " mot(s):" & vbCrLf)
        For Each mt As Word In listWordsFile.Item(numLigne)
            Console.WriteLine("Valeur : " & mt.val & " ,Position : " & mt.position & " ,Longueur : " & mt.length & vbCrLf)
        Next
 
    End Sub

01/05/2012, 16h20
DonQuiche

Re-edit, j'ai confondu les posteurs.

@PeD012
Quel est le besoin *exact* ? Quel type de comparaison fais-tu ? Les fichiers évolueront-ils ou peut-on bâtir une représentation plus adaptée une fois pour toutes ?
Avec une explication détaillée des besoins on pourra faire quelque chose d'efficace.
01/05/2012, 16h26
Sankasssss

:ccool: chrismonoye et en plus ton code est bien plus propre que tout ceux proposé.
Y'en a un qui va être content, on a fait son travail à sa place
:mouarf1: :pastaper:

Tien pour info (c'est toujours bien comparer), il est beaucoup plus lent où ca se joue à pas grand chose?

Voir 40 message(s) de cette discussion en une page