Нахождение за рубежом с супругом, который является диппредставителем не освобождает от налогов.
А что касается взносов - текст вашего вопроса уже "сдает" вас, что вы сами знаете ответ, касающийся освобождения ИП от уплаты страховых взносов в периоды, в течение которых не осуществляли деятельность, в период проживания за границей супругов работников, направленных, например, в диппредставительства и консульские учреждения РФ (не более 5 лет в общей сложности).