Hola facu. El problema es que el sistema no está suficientemente restringido, esto es por que aunque sea un punto y su camino lo definas con el joint, el punto en realidad puede girar sobre si mismo sobre cualquier eje.
Para resolverlo tienes que restringir estos grados de libertad con otros joints y puede ser que necesites generarte algo de geometría de apoyo en ambas parts para poder aplicar las restricciones.
Saludos