Я не специалист по отказам начальнику, но раз уж меня попросили ответить...
Я бы отталкивался от причин отказа, ведь одно дело если вы не можете сделать работу, другое если не хотите, третье если считаете что эту работу делать не надо. А может быть вопрос был вообще не о работе....
Ну и от конкретного начальника тоже многое зависит. Какому-то начальнику можно признаться о недостатке компетенций и он отправит вас учиться за счет компании, а другой может и уволить.
А в целом, правильно отказать начальнику таким образом, чтобы в процессе отказа он понял, то для общего результата, гораздо лучше чтобы это работу сделал кто-то другой.
Ну это если мы как факт принимаем, что начальник радеет за общий результат, что в принципе не всегда так :)