Tentes plutôt ta chance dans le forum Mac.

La procédure :
http://manual.gromacs.org/documentation/5.1.1/install-guide/index.html

T'as essayé avec CMake ?