Так как вы не указали вид оконной рамы, то ставлю вам ссылку на статью, в которой используются разные методы утепления для разного типа окон.
Я так понимаю речь идет о деревянных рамах, тогда посетите любой строительный супермаркет и приобретите клеющиеся полиуретановые полоски, ну или если хочется дешево и сердито, то старая добрая замазка, проклеенная бумага и поролон.