Практически разницы нет. Одинаковые вещи можно делать и там, и там. Считайте, что VOP — это визуальная настройка над языком Vex.
В Vex удобнее работать с циклами, с условиями, с массивами. Да и в принципе написать код часто бывает быстрее, чем тыкать ноды в VOP.
В VOP удобно экспериментировать, приятнее работать с нойзами, не нужно знать программирование. Нет ничего зазорного в том, чтобы работать в VOP.