Connexion par clef SSH

Salut à tous :)

Je suis un peu bloqué dans la mise en place d'une authentification par clef SSH.

J'ai généré une paire de clef il y a quelques temps, qui fonctionne avec github par exemple, donc je suppose qu'ellest valide.
Sur mon serveur, j'ai copié le contenu de la clef publique dans le fichier /home/git/.ssh/test.pub (pour faciliter les tests)
Ensuite j'ajoute la clef dans authorized_keys : cat test.pub >> authorized_keys
Le répertoire /home/git/.ssh et ses fichiers appartiennent à git:git, en 640

Et quand je veux utiliser des commandes git (git pull par exemple), le mot de passe de l'utilisateur git m'est demandé :(

Je vous met la config des remotes git, au cas ou:
git remote -v
origin git@xxx:/opt/git/utopia.git (fetch)
origin git@xxx:/opt/git/utopia.git (push)