Il n'y a pas que CUDA, il y a aussi OpenCL (à venir, certes).
Sinon, je ne sais pas ce que ca vaut, vu que je ne m'en suis jamais servi (bon CUDA non plus à vrai dire), mais ca semble intéressant: GL Math (glm), http://glm.g-truc.net/