Согласно положению о паспорте гражданин лишь "обязан иметь при себе паспорт". Требовать паспорт у вас не имеют права ни при каких условиях. Однако, если вы не удовлетворите требования, вас, вероятно, не впустят.
Кстати, даже сотрудник полиции не имеет права требовать у вас предъявления паспорта без особых оснований.
Закон о полиции
Статья 13. Права полиции
2) проверять документы, удостоверяющие личность граждан, если имеются данные, дающие основания подозревать их в совершении преступления или полагать, что они находятся в розыске, либо если имеется повод к возбуждению в отношении этих граждан дела об административном правонарушении, а равно если имеются основания для их задержания в случаях, предусмотренных федеральным законом;