Какой язык нужно изучать — Python или Vex?

Лучше оба. Vex нужен для работы с геометрией и атрибутами. Python — для автоматизации работы, создания новых нод и так далее.