Да, это нужно сделать. Например, такое утепление должно быть паропроницаемым. То есть, если это пенополистирол, то внутри надо все гермитично заделать. Утеплитель должен быть легким, чтобы он не давил на стену.
Можно утеплить пенопластом, минеральной ватой и пеноплексом.