Почему мат запрещен законодательно? Разве это нарушает чьи-то права? И как определить что мат, а что нет?

Вообще мат законодательно не запрещён. Законодательно регулируется только употребление мата в СМИ, в рекламе и устно в общественных местах, а также при публичном испонении и показе произведений литературы, искусства и народного творчества.

Это разные запреты и разная мотивация:

1. Употребление мата в общественном месте может привести к административному или даже уголовному (при многократных рецидивах) наказанию, если это именно нецензурная брань, оскорбление. Т.е. дело не в мате как таковом. Да и, чаще всего нецензурная брань не является самостоятельным составом преступления, а идёт прицепом, например, к хулиганству.
2. В обществе есть консенсус, что сниженная лексика - это плохо, потому что она прямо или (чаще) косвенно имеет дело с половыми органами или сексуальными отношениями. В рекламе и на плакатах и вывесках в общественных местах это неуместно и по этому запрещено законодательно. Даже рекдама пылесосов магазина Эльдорадо формально не содержащая мата провисела очень недолго. Там было написано: "Сосу за копейки". Что уж говорить о мате!
3. Этот же консенсус и (честно признаемся) ханжество привели к последним изменениям в законе "О государственном языке". Изменения инициированы группой депутатов во главе с председателем комитета Госдумы по культуре Станиславом Говорухиным. Культурные граждане сами держат себя в руках, а остальных как бы должен сдерживать закон. Как заблюренные в телевизионном или кинокадре сигареты способствуют здоровью граждан страны, так и запиканный мат - культуре. Простите за сарказм, но время покажет, насколько действительно работает то и другое.
   А вот с идентификацией самого главного (что мат, а что нет) вышла промашка. Тут коллега Кирилл Андреевич в своём ответе всё разъяснил. Посмотрите его ответ. Становится понятно, что законодательная дефиниция столь же однозначна и чётка, сколько бесполезна. Можно воспользоваться эвфемизмами и по формальным признакам никакого криминала нет. Кстати, после вступления в силу законодательного запрета, например, существенно выросло употребление в радиоэфире слов "жопа" или "говно". Например, на Эхе Москвы теперь не реже раза в две недели одно из них можно услышать от ведущих наверняка. Появилось такое развлечение - троллинг законодательства - ввернуть что-нибудь эдакое, на грани, потому что оно не запрещено. Надеюсь это пройдёт.