В СССР была сложная, многоуровневая сеть снабжения населения. Основной канал, да, это предприятия торговли. Далее следовали ведомственные пайки-заказы, социальные с какими-то даже отдельными магазинами для стариков и ветеранов, заказы для партийной номенклатуры, и, для тех, кто зарабатывал валюту, чековые "Березки" и иже с ними. В зависимости от того, из каких каналов вы получали товары, и зависело ваше видение дефицита. Некоторые, типа партийной верхушки, до конца дней СССР никакого дефицита не замечали.
Относительно предприятий торговли, то в системном виде дефицит в них стал ощущаться по пустым полкам где-то в конце 70х, - 1977/78 года. До этого случались кратковременные перебои, типа запомнившийся поколению 60-х перебой с белым хлебом из-за хрущевских перегибов кукурузой, но как-то все восстанавливалось.
Надо учитывать и изменение потребностей населения СССР. Джинсы, даже советского фиолетового пошива, сметались с прилавков. Костюмы и пальто "привет из 50х" лежали мертвым грузом.