Il y a une fonction dans MATLAB qui te permette de faire ça :

help inpolygon