Матвей, если вы хотите сделать теплый кабинет, конечно стоит утеплять.
Обычное шпаклевание не поможет вам снизить теплопроводность , Кроме того, как вы пишите, стена имеет трещины, которые сложно будет исправить от продувания. (Стена будет трескаться постоянно).
Я вам рекомендую наклеить какой-либо теплоизоляционный материал. Проще всего сработать с пенополистеролом
Он не дорогой, легко клеится, режется, легко штукатурится / шпаклюется
Поверх него можно нанести краску