Абсолютно не стоит беспокоиться о своём собственном акценте. Главное пытаться говорить как можно чётче, как можно грамматически правильнее, чтобы слушатели могли вас понять, а специфика произношения отдельных звуков мало кого волнует.
Вот чему действительно надо уделить внимание — это понимание различных акцентов английского языка, причём не только американских и британских, но ещё и индийского с китайским, ирландского, шотландского и австралийского, различных европейских акцентов.