Я очень не люблю конфликты и споры. Поэтому, пока "не припрет" особенно не высказываю, что и как мне не нравится. Но когда это становится серьезно (какой-то сложный рабочий момент, например), я говорю в довольно категоричной форме. Но! Это совсем не значит, что я этого не боюсь. Как в школе, так и сейчас уже в 50 лет, я все еще побаиваюсь что-то вот так запросто высказывать.
Думаю, бояться это не так уж критично плохо. Важно уметь за себя постоять, даже если потом будет тяжело.
Итог. Надо брать себя в руки и не давать себя в обиду. А еще искать коллектив (компанию, группу), где будет поменьше людей, которые хотят вам навредить.