Друга называют каблуком, только потому что он ходит со мной, а не с друзьями? Правильно ли это?

Нет, неправильно.

Людям, которые любят судить других и вешать на окружающих ярлыки, лучше смотреть в свой огород. В конце концов, попытки унизить другого - это лишь компенсация собственной неуверенности в себе. Поэтому пусть рты закроют, а вы с вашим другом живите так, как вам лично комфортно. И дважды подумайте, стоит ли назвать таких людей друзьями.