Интересно, что Вы в вопросе использовали слово "улыбочка", а не "улыбка". Так что ответ в вопросе. Слово "улыбочка" в русском языке обычно употребляется в негативном контексте. Т.е. никаких добрых чувств человек с "улыбочкой" не транслирует тем, с кем общается. Улыбочка может быть ироничная, кривая, злорадная, хитрая, "приклеенная" и т.п. В общем, не та мимическая реакция, которая вызывает восторг у собеседников. Потому и бесит.
Кстати, Вы пишете: "…когда собеседник в споре использует улыбочку". Возможно, что это просто прием - человек понимает, что "улыбочка" выбивает из колеи партнеров по общению, и они теряют контроль над ситуацией. И специально так делает.