Effectivement l'ordre n'est pas le même selon la chaîne. Par exemple :

WITH cte AS (
SELECT * FROM (VALUES ('D'), ('d'), ('E')) as t(n)
)
SELECT *
FROM cte
ORDER BY n COLLATE French_CS_AS;
...