Remplacer un JComponent d'un GridLayout

Bonjour, je possède une JFrame avec un GridLayout (0,4) qui contient 4 JPanels.
Ces panels contiennent chacun une image differente.

J'aimerai pouvoir remplacer un JPanel precis par un autre contenant une autre image.

J'ai réussi à le faire via les fonction add et remove mais mon souci est que la fonction add ajoute le JPanel à la fin des autres et ne remplace pas l'ancien.

Ma question est donc Comment faire pour remplacer un composant precis dans un GridLayout mais de façon a ne pas le deplacer de sa position d'origine?

Avec un peu de chance avec cet autre add là.