Скорее всего их раздражают стоны, звуки всхлипывания. Им может показаться, что вы хотите напасть на их и запугиваете таким образом перед атакой. Другой вариант - им начинает казаться, что вы - кошка, которая зазывает их.
Под человеком Вы понимаете хозяина, по всей видимости ? Потому, что они прекрасно чувствуют настроение хозяина и если он плачет, значит ему плохо. А это не порядок в доме. Коты не любят нарушения устоявшегося порядка.