Détection d'unicode dans colonne

Version imprimable

17/07/2009, 16h58
Babyneedle

Détection d'unicode dans colonne

Bonjour,

Je veux optimiser une table. Il y a un champ description en nvarchar(). À première vue, il ne semble pas y avoir de données justifiant l'utilisation de nvarchar() plutôt que varchar().

J'ai le contrôle du middleware donc je peux m'assurer de n'accepter que des charactères valables pour le datatype varchar().

Ma question: quel est le moyen le plus efficace de m'assurer que le contenu actuel d'une colonne (plusieurs millions de rows) ne sera pas affecté si je modifie le data type de nvarchar() à varchar().

Merci
17/07/2009, 17h10
elsuket
Bonjour,

Je ne sais pas trop comment vous pouvez tester si votre colonne contient des caractères unicode de façon performante, vu le nombre de lignes que vous avez à tester.
Le problème vient du fait que les fonctions ASCII() et UNICODE() ne renvoient que la valeur entière, telle qu'elle est définie par la norme Unicode, du premier caractère de l'expression passée en paramètre, et il n'existe pas de fonction pour tester l'existence d'un caractère unicode dans.
Ces deux fonctions retournent des valeurs différentes pour des caractères Unicode mais la même valeur pour des caractères ASCII :
Code:

1 2 3 4 5 6 7 8 DECLARE @toto NCHAR(1) SET @toto = N'ส' SELECT ASCII(@toto), UNICODE(@toto) SET @toto = N'a' SELECT ASCII(@toto), UNICODE(@toto)
Donc à part écrire une fonction qui vérifie cela pour vous, je crois qu'il n'y a pas beaucoup de choix possibles :?

@++ ;)

Le site n'affiche pas les caractère Thaïs dans le code, ce qui explique que vous ne voyez pas ส que je j'ai utilisé dans l'exemple.

Je vous propose cette fonction :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
CREATE FUNCTION Fn_CheckUnicode (@chaine NVARCHAR(MAX))
	RETURNS BIT
	WITH SCHEMABINDING
AS
BEGIN
	DECLARE @i INT,
			@lgr INT,
			@caractere NCHAR(1),
			@contientCaractereUnicode BIT
 
	SELECT @i = 1,
			@lgr = LEN(@chaine),
			@contientCaractereUnicode = 0
 
	WHILE @i <= @lgr AND @contientCaractereUnicode = 0
	BEGIN
		SELECT @caractere = SUBSTRING(@chaine, @i, 1)
 
		IF ASCII(@caractere) <> UNICODE(@caractere)
		BEGIN
			SET @contientCaractereUnicode = 1
		END
 
		SET @i = @i + 1
	END
 
	RETURN @contientCaractereUnicode
END

@++ ;)

Ok, j'ai roulé ceci:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
DECLARE @CNT INT, @TOKEN INT, @MAX_LEN INT
SET @CNT = 0; SET @TOKEN = 0; SELECT @MAX_LEN = MAX(LEN(username)) FROM [UBI_GATOR].[dbo].[Content] WITH (NOLOCK)
 
PRINT '@MAX_LEN = ' + CAST(@MAX_LEN AS VARCHAR(50))
 
WHILE @TOKEN < @MAX_LEN
	BEGIN
		SELECT @CNT = @CNT + ISNULL(COUNT(*), 0) FROM [Content] WITH (NOLOCK) WHERE LEN(username) >= @TOKEN AND ASCII(SUBSTRING(username, @TOKEN, 1)) <> UNICODE(SUBSTRING(username, @TOKEN, 1))
		SET @TOKEN = @TOKEN + 1
	END
 
PRINT '@CNT = ' + CAST(@CNT AS VARCHAR(50))

1,2 millions de records, 17 secondes...

Ça vous semble correct?

Cela n'irait pas plus vite en faisant :
Code:

1 2 3 4 5 SELECT CLEF, COLONNE_UNICODE FROM MaTable EXCEPT SELECT CLEF, CAST(COLONNE_UNICODE AS VARCHAR(???)) FROM MaTable
???

A tester !