Скорее всего, потому что устраивая себе "ничегонеделание", вы отлыниваете от какого-то не очень интересного вам в данный момент занятия. И обвиняете себя за свое сопротивление. То есть, мало того, что у вас напряжение оттого, что дело стоит, так еще и чувство вины "вишенкой на торте". Конечно, устанешь тут.
Еще может быть такое, что вы просто не умеете отдыхать, ничего не делая, потому что усвоили от кого-то, что так делать неправильно, так делают только ленивые люди, и так далее. В таком случае, даже если вы не отлыниваете ни от каких дел, вы все равно будете чувствовать беспокойство, несмотря на свою потребность в отдыхе, это тоже вызовет напряжение, от которого вы, скорее всего, устанете.
Если ничегонеделание "законно", если вы его себе разрешаете, то усталости от него не будет, а будет расслабление и отдых.