Руководитель явно считает, что "рабочий коллектив - это большая семья" и позволяет себе многое. Я бы рекомендовала делать вид, что ничего не случилось, если Вы и дальше хотите там работать. Но все же параллельно стоит подыскивать другую работу, потому как такое отношение руководителя ни к чему хорошему не доводит, будет считать что Вы ему вечно "должны" и манипулировать этим.