Обычно так говорят, когда оценивают поведение человека, которому это адресуют, как не соответствующего принятым правилам, культуре или этикету. Либо когда, по личному субъективному мнению считают поведение вызывающим и неприемлемым. Либо когда хотят устыдить, чтобы человек просто вёл себя тише, скромнее.
Вообще, можно уточнить напрямую у того, кто это говорит, что он/а считает в Вашем поведении неприличного.