Вы столкнулись в каким-то запредельного уровня неприличным поведением. Проще всего - просто проигнорировать реплику. Можно предложить заявителю приходить со своим люксовым пайком. Ну, и в приличном обществе таким людям отказывают от дома. Вы коллеги, поэтому исключить его из числа приглашенных, возможно, не получится, но это был бы вполне приемлемый вариант.