Наука говорит, что из предложенных вами вариантов только ягода является чётко определённым научным термином, обозначающим конкретный вид плодов. Причём этот термин настолько сильно отличается от бытового представления о ягодах, что в ботанике помидор - ягода, а клубника - нет.
Понятий "овощ" и "фрукт" в ботанике не существует, это чисто сельскохозяйственные обозначения. Овощи - это обобщенное название разнообразных съедобных частей растений, которые не попадают в другие классификации. Овощ не обязан быть именно плодом - он может быть корневищем (картошка), листьями (капуста), стеблем (укроп). Фрукт - это сочный плод достаточно больших размеров.
Что касается конкретно сладкого перца, то в хозяйственном смысле он вполне себе овощ, а в ботаническом его плоды относят к ложным ягодам.