Damier Interactif JButton

Bonjour à tous ,
Je vous écris car j'aimerai créer un damier interactif constitué de JButton pour les cases qui peuvent être utilisées et des JPanel pour le reste du damier. Ce que je voudrais faire, c'est que lorsque que je clic sur un bouton celui ci deviendrai vert et serait alors sélectionné et pourrait être ainsi échange contre une case vide adjacente. J'arrive bien à transformé le bouton en vert mais pour l'échanger avec un autre c'est une autre histoire... Je sais que ça se passe dans un MouseListener mais après je n'ai aucune idée de la méthode à employer pour faire l'échange :/
Merci d'avance !