Любая роль с админскими правами игнорирует ограничения на количество участников в голосовом канале. Так что посмотрите на права ролей участников, которые продолжают заходить.
Также, на владельца сервера по умолчанию не распространяются никакие ограничения и он всегда сможет заходить куда угодно.