Добавлю к другим ответам еще одну причину, которую пока не упоминали.
Если ты открываешь специализированный магазин, то одна из основных твоих задач — регулярно давать качественный продукт. Собственно, пекарни и кондитерские действительно предлагают товар на порядок лучше, чем то, что продается в супермаркетах.
Что же касается фруктов и овощей (отчасти это относится и к молоку с рыбой), то их качество в России очень сильно зависит от сезонности. Зимой таким магазинам было бы тяжело реализовывать свою продукцию: либо она была бы значительно хуже летней, либо её стоимость существенно бы увеличивась. Лично мне, если бы я был потенциальным предпринимателем, этой причины было бы достаточно, чтобы отказаться от этой идеи.