Вы правильно подметили, что VPS в этом случае не должен быть дорогим.
Ресурсов нужно минимум, лишь бы стабильно работал и не заставлял вспоминать о себе, когда не требуется.
Сам использую 2 VPN, один в браузере, другой держу в Таймвэб за 45 руб/мес, нареканий нет. Держи ссылку на регистрацию, тариф "Промо". Не рефералка, на этом не зарабатываю.
P.S. OpenVPN ставил по этой инструкции.
Здравствуйте. Vdsina.ru - vps от 59 руб. ( серверы в Москве и Нидерландах) + автоустановка OpenVPN = Недорогой VPN за 10 минут .
Они не дружат с РКН, для обхода блокировок подойдёт сервер в Москве с минимальным пингом. Если Вы об этом.
Вы можете выбрать нужную установку доп. ПО на странице заказа VPS, в нижней части.
Есть разные варианты, на выбор.
Также, вы можете установить любое ПО из репозитария дистрибутива linux на ваш VPS.