Стоит ли мне идти на страшный квест если у меня иногда бывает повышенная тревожность?

Зависит от того, насколько Вам квест тот интересно посетить в отрыве от тревоги. Тем более если она у Вас, как говорите, иногда - тогда это вообще ничего не значит, потому что "повышенная тревожность иногда" это как температура: время от времени она у каждого поднимается, и само по себе это ни о чём не говорит. 

Другое дело, если бы она у вас была аномально приподнятой хронически. Но и в этом случае, психологически мы лечим тревожные расстройства именно через прямой контролируемый контакт с тем, что вас пугает. Так что в конечном счёте, ничего не решая за Вас, я бы сказал, что идти Вы можете, не опасаясь каких-то особо неприятных последствий. А стоит или нет - кроме Вас никто не может решить.