Из-за мнимого, конечно, не стоит, только вот вред чаще всего оказывается совсем не мнимый.
Не стоит фанатично относиться к питанию и отказывать себе в оливье с майонезом на Новый год только потому, что это вредно. Такое патологическое здоровое питание называется орторексия.
Однако следует помнить, что всё хорошо в меру даже для "полностью здоровых" людей. То есть фастфуд или доширак раз в неделю это не плохо, но на постоянной основе такой рацион может привести к некоторым заболеваниям.
А тем, у кого они уже есть, стоит ограничивать себя в чем-то в соответствии с рекомендациями врачей, не иначе.
Про набор/потерю веса отдельная история, тут каждый решает сам.
Стоит ограничивать себя в употреблении вредной пищи: жареной, острой соленой. Это любому организму будет вредно, у нас и так экология ужасная, зачем лишний раз себя травить?!