Фактически обученная модель машинного обучения, это некоторая математическая формула, которая описывает некоторую математическую функцию. Эта формула может иметь тысячи и сотни тысяч подгоночных коэффициентов, значения которых определяются в процессе обучения. Поэтому эту формулу писать в явном виде неразумно, так как её явное написание может быть объемом несколько тысяч страниц текста. То есть визуализация такой формулы не имеет никакого смысла.
Переобучение приводит к тому, что в этой формуле, как минимум, меняются значения этих подгоночных коэффициентов.
То, что будет на выходе у этой формулы, зависит от того, что вы подаете на её вход.
У сильно нелинейных формул встречаются такие ситуации, когда небольшое отклонение одного из входных параметров где-то в 10-м знаке после запятой может привести к "эффекту бабочки". Но это не является произвольным ответом. Этот ответ такой же детерминированный, как и все другие ответы, полученные по формуле. И, скорее всего, такой ответ, сильно отклоняющийся от ожидаемого будет признан или эффектом переобученности модели (или недообученностью).
Противостоять дообучению модель физически ну никак не может, точно также, как ни одна формула не может противостоять её переписыванию.
Вы можете записать формулу, например, y = 3 *x + 5, а потом переписать это в виде y = 4 * x + 8. И поверьте мне, первая формула сейчас никак не сопротивлялась её переписыванию и не проявила свою силу воли.