Передавать замок может только король у которого есть министр (подойдет жена или герой, у других такой опции нет). При разговоре с министром надо выбрать "отдать замок вассалу".
А вот вассал сам передать замок другому вассалу не может, только возвратить его королю.