Кто вам сказал что вы не можете не пойти! Вы взрослый человек, и если вам неловко или неприятно будет там находиться, не ходите. Как будто кто-то о вас что-то подумает! Даже если и так - подумают и забудут.
Но если все нормально, и вы просто не знаете что подарить, действительно подарите то что соответствует его хобби или увлечению. Например автолюбитель оценит дворники на лобовое стекло или зимнее моторное масло. :) Курильщик обрадуется набору из хорошего табака и папиросной бумаги. Я такой целый месяц курил и радовался.