"Просто промолчать и не обращать внимание" - это худший из вариантов. И это как раз тот вариант, когда вас "примут за плохого человека" (вы демонстрируете пренебрежение и высокомерие, игнорируя просьбу обратившегося).
Отказать в просьбе проще простого: "Извините, я не знаю, спросите кого-то еще", "Извините, я сейчас очень тороплюсь" и все. Люди воспримут такой отказ абсолютно нормально.
Хотя лично я не понимаю, в чем проблема подсказать человеку дорогу, если ты ее знаешь.