Si tes rectangles ne sont pas des Components mais juste des formes que tu dessines sur ton Panel, il faudra que tu le gères toi même.

Ex :
- Ajouter un MouseListener au panel
- Pour chaque...