"Наш" взгляд имеет смысл обсуждать, только если "мы" - заказчик вашей системы. Ответ на ваш вопрос должен определяться требованиями к проекту, простите за банальность.
Иной вапрос, что полезно иметь функциональную зависимость, Preсision/Accuracy к скорости инференции, чтобы найти на этой кривой оптимальную точку и иметь четкое понимание, условно стоимости "точности" по времени и деньгам.