Лучший вариант - сказать: "Я не хочу отвечать на этот вопрос", "Мне неловко отвечать на это", "Пожалуй, я не буду отвечать". Думаю, адекватный человек не станет настаивать после такого ответа)
А если Вы предпочитаете не отвечать прямо, можно сделать вид, будто бы не услышали вопрос или резко отвлечься на что-то другое и поменять тему разговора.