Не могу говорить от лица всех женщин, но от себя могу сказать, что зависит от мужчины. Тут следует ещё уточнить, что понимать под «несимпатичен». Если Вы имеете в виду безразличен, то раздражения вызывать он не будет, главное, чтобы излишне навязчивым не оказался. Если же мне он конкретно неприятен, то да, причём значительно, а каждый его новый комплимент в мой адрес будет только усиливать неприязнь.