То, что просьба некорректна, собеседник удивлён. Во-первых, если вы находитесь в общественном месте, то ношение маски сейчас обязательно, независимо от желания её носить. Во-вторых, это личное дело человека, носить или не носить маску, данным предложением вы вторгаетесь в его личное пространство. Отсюда удивление, видимо вы не похожи на хама, но повели себя странно, собеседник не ожидал такого вопроса.
Можно было построить фразу иначе, например, сказать - "мне вас в маске очень плохо слышно" - с одной стороны это намёк снять маску, с другой стороны акт снятия маски уже будет (якобы собственным) решением собеседника, а не вашей инициативой. Разница большая, никто не любит, когда ему указывают, что делать )