Если там большая щель, то можно утеплить по всей длине подоконника монтажной пеной. Если щели небольшие, тогда для их заделки подойдет силиконовый герметик. Обязательно перед утеплением обработайте поверхности герметиком или антисептиком.
Спасибо все сделал!