Discussion :

[Hydex]

Bonjour,

Je parse des données depuis un site, il se trouve qu'une des pages utilise de l'immonde javascript pour stocker les informations que je veux, dans un tableau complexe en plus

Voici la var:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<script language="JavaScript"><!--
	var myMenu =
	[
		['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif" /></i></span>', '/', '#', '', '', 
		['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Cat1', '#', '', '',
		['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Cat1.1', '#', '', '',,['','TitleDoc1.1 (Doc1.1.txt)','https://***/docman/view.php/22/9/Doc1.1.txt','','DescDoc1.1 10Char' ],
		],
		['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Cat1.2', '#', '', '',,
		],,['','Agenda1 (Dummy.txt)','https://***/docman/view.php/22/14/Dummy.txt','','DescriptionAgenda1' ],['','TitleDoc1 (Doc1.txt)','https://***/docman/view.php/22/8/Doc1.txt','','DescDoc1 10 char' ],
		],
		['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Cat2', '#', '', '',,['','TitleDoc2 (Doc2.txt)','https://***/docman/view.php/22/10/Doc2.txt','','DescriptionDoc2' ],['','TitleDoc2.1 (Doc2.1.txt)','https://***/docman/view.php/22/12/Doc2.1.txt','','DescriptionDoc2.1' ],['','TitleDoc2.2 (Doc2.2.txt)','https://***/docman/view.php/22/11/Doc2.2.txt','','DescriptionDoc2.2' ],
		],
		['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Uncategorized Submissions', '#', '', '',,['','uncategDocument (DocPasCateg.txt)','https://***/docman/view.php/22/13/DocPasCateg.txt','','DescriptionUncatDoc' ],
		],		]
	];
	ctDraw ('myMenuID', myMenu, ctThemeXP1, 'ThemeXP', 0, 1);
	--></script>

Une fonction se sert ensuite de cette var pour faire une sorte de vue en arborescence dynamique dossier/fichier. Moi je veux parser le nom des dossiers (Cat1, Cat1.1, Cat2...) et les fichiers (pour le dernier par exemple, titre UncatDocument (le titre), DocPasCateg.txt (le nom du fichier), le lien pour dl le fichier en question, et la description (DescriptionUncatDoc).

Je m'en sors pas, pour du html tout beau BeautifuLSoup marche bien, mais cette variable me casse la tête et je trouve pas de regex pour récupérer ce que je veux :/

Une idée d'un outil à utiliser ou d'une regex magique?

Merci,
Hydex

[eyquem]

Bonjour,



Qu’est ce que c’est, ce qui se trouve dans la fenêtre Code: ?
du code Javascript ? du code Python ? des lignes de caractères qui sont celles du code source du site ?



Ce qui m’intrigue est la structure du genre

[’abc’+Theme+’abc’+Theme+’abc’, '/', '#', '', '',
[’abc’+Theme+’abc’+Theme+’abc’,'Cat1', '#', '', '',
[’abc’+Theme+’abc’+Theme+’abc’,'Cat1.1', '#', '', '',,[moult],
],

À quoi correspondent les crochets ? Liste ? Caractères ? Autre chose ?




Qu’est ce que ctThemeXPBase ?



Quelle est la variabilité des parties stables ?
Ex: 'folderopen1.gif" /></i></span>' dans la première ligne,
'folderopen1.gif"></i></span>' dans les autres




Une regex ne devrait pas êre trop dur à trouver, mais je n’ai pas le temps avant ce soir.

[miawaw]

Bonjour,

J'ai écrit une boucle (avec 2 boucles imbriquées) qui retrouve le dossiers. Le truc utilisé est le fait que les nom de dossiers 'Cat1', 'Cat1.1' sont dans des listes et sont suivis dans la liste par un élément '#'.
code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
ctThemeXPBase = "ctThemeXPBase"
L =  [# /:
    ['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif" /></i></span>', '/', '#', '', '',
        # Cat1:
        ['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span                         class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Cat1', '#', '', '', 
            # Cat1.1
            ['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Cat1.1', '#', '', '', 
                ['','TitleDoc1.1 (Doc1.1.txt)','https://***/docman/view.php/22/9/Doc1.1.txt','','DescDoc1.1 10Char' ],
            ],
            # Cat1.2:
            ['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Cat1.2', '#', '', '', 
            ],
 
            ['','Agenda1 (Dummy.txt)','https://***/docman/view.php/22/14/Dummy.txt','','DescriptionAgenda1' ],
            ['','TitleDoc1 (Doc1.txt)','https://***/docman/view.php/22/8/Doc1.txt','','DescDoc1 10 char' ],
        ],
        # Cat2:
        ['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Cat2', '#', '', '',
            ['','TitleDoc2 (Doc2.txt)','https://***/docman/view.php/22/10/Doc2.txt','','DescriptionDoc2' ],
            ['','TitleDoc2.1 (Doc2.1.txt)','https://***/docman/view.php/22/12/Doc2.1.txt','','DescriptionDoc2.1' ],
            ['','TitleDoc2.2 (Doc2.2.txt)','https://***/docman/view.php/22/11/Doc2.2.txt','','DescriptionDoc2.2' ],
        ],
 
        ['<span class="JSCookTreeFolderClosed"><i><img alt="" src="' + ctThemeXPBase + 'folder1.gif" /></i></span><span class="JSCookTreeFolderOpen"><i><img alt="" src="' + ctThemeXPBase + 'folderopen1.gif"></i></span>', 'Uncategorized Submissions', '#', '', '',
            ['','uncategDocument (DocPasCateg.txt)','https://***/docman/view.php/22/13/DocPasCateg.txt','','DescriptionUncatDoc' ],
        ]
    ]
    ]
for l in L:
    print "premier dossier:", repr(l[l.index('#')-1])
    for li in filter(lambda x: type(x) == list, l):
        if '#' in li:
            print "sous-dossier dossier:", repr(li[li.index('#')-1])
            for mi in filter(lambda x: type(x) == list, li):
                if '#' in mi:
                    print "sous-sous-dossier dossier:", repr(mi[mi.index('#')-1])

On fait tourner et ça donne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
premier dossier: '/'
sous-dossier dossier: 'Cat1'
sous-sous-dossier dossier: 'Cat1.1'
sous-sous-dossier dossier: 'Cat1.2'
sous-dossier dossier: 'Cat2'
sous-dossier dossier: 'Uncategorized Submissions'

Si il y a une plus grande profondeur de sous-dossiers, à mon avis il faut supprimer les boucles imbriquées et écrire une petite fonction récursive.

[miawaw]

ceci recupere tout, dans l'ordre.
on peut modifier ci et là pour obtenir l'information sous une forme plus adéquate.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import re
 
def is_doc_list(l):
    return any(map(lambda x: '.txt' in x, l))
 
def get_info(x):
    title_and_name = x[1]
    link = x[2]
    description = x[4]
    pat_1 = r"([\w.]+)\s+\(([\w.]+)\)"
    m1 = re.search(pat_1, title_and_name)
    return m1.groups(), link, description
 
 
def job(M, i):
    if type(M) is list:
        for m in M:
            if '#' in m and len(m)>2:
                print " "*i + str(i) + ')' +"dossier:", repr(m[m.index('#')-1])
            if is_doc_list(m):
                print " "*(i+1) + "file information:", get_info(m)
            job(m, i + 1)
 
if __name__ == "__main__":
    job(L, 1)

J'ai initialisé à la main la variable L,...

[Hydex]

Bonjour,



Qu’est ce que c’est, ce qui se trouve dans la fenêtre Code: ?
du code Javascript ? du code Python ? des lignes de caractères qui sont celles du code source du site ?



Ce qui m’intrigue est la structure du genre

[’abc’+Theme+’abc’+Theme+’abc’, '/', '#', '', '',
[’abc’+Theme+’abc’+Theme+’abc’,'Cat1', '#', '', '',
[’abc’+Theme+’abc’+Theme+’abc’,'Cat1.1', '#', '', '',,[moult],
],

À quoi correspondent les crochets ? Liste ? Caractères ? Autre chose ?




Qu’est ce que ctThemeXPBase ?



Quelle est la variabilité des parties stables ?
Ex: 'folderopen1.gif" /></i></span>' dans la première ligne,
'folderopen1.gif"></i></span>' dans les autres




Une regex ne devrait pas êre trop dur à trouver, mais je n’ai pas le temps avant ce soir.

C'est un bout de javascript dans le code source d'une page, qui contient du formatage mélangé à des informations que je veux extraire (catégories, et fichiers dans ces catégories)

Qu’est ce que ctThemeXPBase ?



Quelle est la variabilité des parties stables ?
Ex: 'folderopen1.gif" /></i></span>' dans la première ligne,
'folderopen1.gif"></i></span>' dans les autres

C'est du bruit! A priori c'est du fixe.

ceci recupere tout, dans l'ordre.
on peut modifier ci et là pour obtenir l'information sous une forme plus adéquate.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import re
 
def is_doc_list(l):
    return any(map(lambda x: '.txt' in x, l))
 
def get_info(x):
    title_and_name = x[1]
    link = x[2]
    description = x[4]
    pat_1 = r"([\w.]+)\s+\(([\w.]+)\)"
    m1 = re.search(pat_1, title_and_name)
    return m1.groups(), link, description
 
 
def job(M, i):
    if type(M) is list:
        for m in M:
            if '#' in m and len(m)>2:
                print " "*i + str(i) + ')' +"dossier:", repr(m[m.index('#')-1])
            if is_doc_list(m):
                print " "*(i+1) + "file information:", get_info(m)
            job(m, i + 1)
 
if __name__ == "__main__":
    job(L, 1)

J'ai initialisé à la main la variable L,...

Super merci beaucoup, je vais tester ça !




Les regexp ne sont pas mes amies malheureusement :/