Могу ли я приехать в Москву на Курский вокзал и через пару часов после ожидания посадки уехать в Курск, не покидая вокзала?

Да, можете. Тем не менее, оформить пропуск придется, поскольку для передвижения по Москве и Московской области в период карантина на личном и общественном транспорте его наличие является обязательным (за исключением лиц, не достигших возраста 14 лет).