Люди, которые так говорят, безусловно, опираются на какие-то свои впечатления и выводы о Вас и Вашем поведении. Но понять, что там у человека в голове, когда он говорит: мол, чей-то характер "трудный" - задача не из легких. Гадать, что он имел в виду, можно долго... и не факт, что успешно. А можно просто спросить. Дело в том, что чаще всего люди говорят так в случае, когда уверены: собеседнику невозможно объяснить, в чем суть претензий к нему. И когда Вы спрашиваете, то даете шанс ему - объясниться, себе - услышать и как-то отреагировать.
Некто: У тебя такой трудный характер!
Вы: А в чем именно заключается эта трудность?
Хитрость заключается в том, чтобы правильно подобрать интонацию и выражение лица, задавая этот вопрос - чтобы человек не воспринял его как наезд или манипуляцию (а то получится банальная ссора, в которой прозвучит фраза: "Ну вот я же говорил(а), что у тебя тяжелый характер!"). Ваш голос должен звучать заинтересованно, спокойно. Выражение лица... ну, представьте себе, что Вы в незнакомом месте спрашиваете у местного дорогу куда-то, и Вам очень важно получить ответ. Это, пожалуй, самое трудное, а потому и редко у кого получается сразу. Но когда, наконец-то, получается - это здорово. Идеальный вариант - после такого вопроса Ваш собеседник должен слегка осечься и, выдержав небольшую паузу, начать Вам объяснять, что он имел в виду; может быть, приводить примеры (кстати, если он их не приводит, стоит попросить об этом: "Приведи(те), пожалуйста, пример, мне хотелось бы тебя (вас) лучше понимать").
Дальше надо будет вооружиться терпением и слушать не перебивая (а может очень-очень захотеться перебить и объяснить ему, что он глубоко неправ - но этого себе позволить нельзя). Таким образом можно узнать весьма много интересного о себе. Когда он закончит говорить, скажите: "Спасибо, это очень важно для меня. Я об этом подумаю". Объяснять свои мотивы, убеждения, ситуацию - не надо, это неподходящее время для подобного. Вам ведь просто надо набрать некий объем информации относительно "трудности" Вашего характера. Далее либо прекращайте контакт, либо переводите тему.
Важно помнить - Вы совершенно не обязаны соглашаться с тем, что говорит собеседник, ни вслух, ни внутренне. Но знать-то надо! Пообщавшись так с несколькими людьми, которые говорят о "трудном" характере, Вы проясните картину и тогда уже примете решение, что делать дальше - полностью либо частично менять поведение, или вежливо игнорировать недовольство окружающих, или учиться каким-то конкретным техникам межличностной коммуникации.