Вы описываете ситуацию, когда другой пытается нащупать границы допустимого (и недопустимого) в отношениях с вами, и не может: проваливается. Можно всё. Опереться тогда ему в ваших отношениях не на что.
И да, неспособность поставить границы в отношениях действительно считывается именно как слабость.
И для другого тут сигналы, если он(а) пока не мудр или/и жизнью не побит, одновременно о вашей ненадёжности (не умеет отстаивать границы - не отстоит и от других, чужих! Пустит их в наши отношения!). И прямо об опасности: если не чувствует и не уважает со своими границами, не будет чувствовать и уважать мои, пойдёт хозяйничать на моей территории, ВООБЩЕ не понимая, что ТАК нельзя!
Я сам проходил такое: в школе учат быть добрыми и удобными, хорошими и прощающими, а вот про границы - это уже жизнь учит. Или профессиональные психологи))
Словом, отношения в вашем вопросе - да, КОНЕЧНО строить можно. По общим только принципам: свои интересы и их ясное понимание, и отстаивание - это первое. Близость только так и строится: 1.(!!) Чего я хочу больше? (для себя! Не для нас и всего человечества, и мамы, и ещё твоей мамы). 2. Что ТЫ хочешь - больше? 3. Если мы хотим что-то вместе строить - давай договариваться!
Простите, вы задали вопрос не буквально о себе, я это прочитал; модель "вы - другой" в ответе использовал для удобства.
Но сама ошибка - совсем типовая, системная, очень человеческая и знакомая.
Удачи!