Стыдно признаться, но у меня к матери нет жалости, тепла и ласки. Может со мной что-то не так?

С вами всё так. Это отношение к матери было бы ненормальным, если бы оно было беспричинным. Но вы ведь сами это обосновываете:

слишком много обид из детства, недопонимания и агрессивного отношения.

Вы относитесь к матери в соответствии с её отношением к вам.

Стоит ли что-то делать с этим отношением? Да, лучше будет, если вы разберётесь во всех своих обидах, т.к. это накладывает отпечаток на вашу нынешнюю жизнь, на отношения с другими людьми. Разговор ни в коем случае не о том, что "надо понять и простить, это же мать...", это всё искусственно. Либо обратитесь к психологу, либо хотя бы почитайте какого-нибудь психолога по этой теме.