Да, вы правы. Формулировка "Мне пофиг", не отражает внутреннее отношение человека к происходящему. У меня ранее был знакомый, который практически на все происходящее манифестировал, что ему пофиг. Мы даже с друзьями прикалывались на эту тему.
Он делал это всегда так эмоционально, что на уровне ощущений как-то казалось, что это не так.
Если раскрыть более глубоко, то человек, которому безразлична какая-то ситуация не будет на нее реагировать. Например если парень идет вдоль клумбы, он же не кричит, что мне пофиг на цветы, на траву, на землю. Он просто идет и не берет это во внимание.
Если же человек эмоционально заявлет, что ему пофиг, то это свидетельствует, что данные обстоятельства вызывают у него реакцию. Но не известно какую, ведь он яро пытается это скрыть от окружающих.