В конце календарного года в любой организации составляется график отпусков, следовать которому обязаны и работники, и работодатель. Перенос отпуска осуществляется с согласия и на основании заявления работника. Поэтому если отпуск по графику, то идти отдыхать вы должны.