Не нужно никуда ходить. Никакую повестку присылать человеку с категорией Д не имеют права, поскольку такой человек - невоеннообязанный и не состоит на воинском учёте. Это всё равно что прислать повестку 5-летнему ребёнку, 80-летнему или невоеннообязанной женщине. Соответственно и заставить проходить комиссию такого человека никто не может, потому что для военкомата он не существует.