preg_split et caractères cyrilliques

Version imprimable

31/12/2008, 08h06
Pigoulou

preg_split et caractères cyrilliques

Bonjour.

J'utilise la fonction suivante :

Citation:

$keywords = preg_split("/[\n\r\t,;]+/", $le_texte, -1, PREG_SPLIT_NO_EMPTY);

Pour éclater une zone texte en morceaux, si tabulation, retour chariot, virgule, point virgule, point.

Tout marche très bien, sauf si dans le texte, il y a un mot en cyrillique.
Et là, chaque lettre du mot cyrillique est "éclatée" séparément comme si c'était un mot ou une phrase balisée par un des caractères séparateurs.

Je ne sais pas comment résoudre mon problème.

Merci.
31/12/2008, 09h17
blueice

Regarde pour utiliser :
http://www.php.net/manual/fr/functio...l-encoding.php
31/12/2008, 09h27
trotters213

:salut:

Essaie ceci :

Code:

$keywords = preg_split("/[\s,;]+/", $le_texte, -1, PREG_SPLIT_NO_EMPTY);

\s inclut " ", \r, \t, \n et \f.
31/12/2008, 14h49
Invité

Citation:

Envoyé par Pigoulou

Citation:

$keywords = preg_split("/[\n\r\t,;]+/", $le_texte, -1, PREG_SPLIT_NO_EMPTY);

Tout marche très bien, sauf si dans le texte, il y a un mot en cyrillique.
Et là, chaque lettre du mot cyrillique est "éclatée" séparément comme si c'était un mot ou une phrase balisée par un des caractères séparateurs.

Si ce sont des entité HTML, alors le point-virgule de ces entités seront éclatés.

Code:

Б

est l'entité HTML de Б.
04/01/2009, 09h19
Pigoulou

Citation:

Envoyé par Tisha Carpenter

Si ce sont des entité HTML, alors le point-virgule de ces entités seront éclatés.

Bien vu, le problème vient bien de là.
Quelle parade adopter?
(sachant que je n'ai pas forcement que du cyrillique dans ces données, ca peut être du mélange de toutes langues dans le texte à éclater).
Un moyen de faire détecter et correctement à preg_split les mots composés d'entités html (ne prendre en compte que les '," séparateurs non liés à une entité html)?

Merci (les expressions régulières me sont assez étrangères...)
04/01/2009, 12h06
s.n.a.f.u

Le pattern suivant doit détecter les points virgule qui ne sont pas des entités html

Code:

$pattern = '/(?<!&#\d{2-4});/';

Cependant, j'ai un môme sur les genoux, donc pas le temps de tester et je te laisse le soin d'intégrer ceci dans ton expression ;)
04/01/2009, 12h12
croky

/\b[\s,;]\b+/ ?
04/01/2009, 12h47
Pigoulou

Concernant la proposition de jml94, elle traite bien les caracteres cyrilliques, mais les mots cyrilliques (qui apparraissaient sous forme de caracteres eclatés), n'apparaissent plus du tout dans la liste de mes résultats (alors qu'ils devraient apparaitrent en cyrillique sous forme de mots entiers, et non caracteres eclatés).

C'est peut etre (voir sans doute) moi qui ait mal intégré sa solution dans mon pattern existant :

Citation:

preg_split("/[\n\r\t,(?<!&#\d{2-4});]+/", $le_texte, -1, PREG_SPLIT_NO_EMPTY);
04/01/2009, 15h06
s.n.a.f.u

Pourrais-tu fournir une chaîne de test afin que je puisse affiner ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<?php
              $le_texte="un, casse tete; ces - expressions. régulières; тро  . merci pour votre aide";
 
			  $keywords = preg_split("/[\n\r\t,(?<!&#\d{2-4});]+/", $le_texte, -1, PREG_SPLIT_NO_EMPTY);
 
			  $i=0;
	          while ($i<count($keywords))
	          {
 
			        echo $keywords[$i]."<br>";
					$i++;
 
			  }
 
?>

NB: il manque aussi le "." comme séparateur dans le pattern qui détermine les caracteres séparateurs.

J'ai ça qui semble retourner ce qu'il faut

Code:

1
2
3
4
5
6
 
<?php
$le_texte="un, casse tete; ces - expressions. régulières; тро  . merci pour votre aide";
$keywords = preg_split('/(?<!&#\d{4});|[\n\r\t,.]/', $le_texte, -1, PREG_SPLIT_NO_EMPTY);
foreach($keywords as $elem)
	print trim($elem) . "<br/>\n";

04/01/2009, 17h21
Pigoulou

:yaisse2: bravo ca marche.

J'ai aussi noté le "foreach... as" à la place de mon 'while' et variable incrementée...

merci beaucoup

meme si je suis un peu frustré car je n'ai pas compris la syntaxe, mais ca viendra, il faut que je m'initie progressivement sur les expressions régulieres :?

encore merci