Создаётся ТОС из 4 многоквартирных домов, может ли один из домов отказаться мне войти в ТО?

Вступать или нет в какую-либо организацию - дело добровольное.

Ответ на Ваш вопрос: дом отказаться не может, т.к. он (дом) железобетонный/кирпичный/деревянный...

А про Территориальное общественное самоуправление всё подробно расписано в статье 27. ЖК РФ