Как понять свои чувства, если человек симпатичен, но к нему есть раздражение?

Это совершенно нормально. Мы - живые, поэтому мы совершенно естественно можем испытывать одновременно разные чувства по отношению к одному и тому же. Иногда эти чувства могут быть даже противоположными. Мы многогранны. И другие люди также многогранны. Поэтому нормально, если одна наша грань симпатизирует, а другая злится.. или одна сторона человека нравится, а другая раздражает. Или и то, и другое одновременно. 

Здорово, что вы хотите понять свои чувства. Понимая себя, легче себя чувствовать и свободнее можно проживать то, что чувствуем. Вы вполне можете попробовать подробнее рассмотреть и свою симпатию, и свое раздражение. 

Чему в этом человеке вы симпатизируете? Внешние черты? Манера поведения? То, как или что он говорит? Какие-то поступки? Какие-то черты характера? Его отношение к вам? Он ассоциируется с чем-то приятным? 

Что вас раздражает в этом человеке? Какая-то конкретная черта или их совокупность? Он вам напоминает кого-то, на кого вы злитесь? Он позволяет себе то, что вы себе запретили (или считаете неприемлемым)? Он нарушает ваши границы каким-то образом? 

Когда рассмотрите оба свои чувства, можно будет сравнить их значимость, силу… Возможно, станет понятнее, к нему ли эти чувства (или одно из них) или вы на него, как на белый экран перенесли чей-то другой образ, и тогда эмоция (или обе) причитается не ему. Возможно, если речь о том, что раздражает конкретное действие, вы увидите, как можно исправить то, что раздражает. Например, попросить не делать какие-то действия по отношению к вам или поинтересоваться у него, что он сам вкладывает в раздражающее вас действие. Это уже о развитии отношений, если оно вам надо. В любом случае, понимание себя часто ведет к лучшему пониманию другого, а это неизбежно сказывается на качестве отношений.