Recherche:

la balise <group> permet de définir un groupe d'item.
dedans tu as fixé une propriété checkableBehavior, qui définit le comportement de "cochage".
Comme tu avais fixé la valeur à single, un seul...

Dans ton fichier xml (surement menu/menu_main.xml), tes items doivent être défini comme étant des RadioButton

Je te conseille de lire la doc android correspondante : ici

Ta question n'est pas très claire, tu souhaites fermer le menu après avoir choisi un item ?
Si c'est le cas, rajoute popup.dismiss() dans ton onMenuItemClickListener.