Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Следует ли применять нормализацию к данным до или после разделения? Имеет ли значение при построении прогнозной модели?

Я хочу разделить свои данные на обучающий и тестовый набор.
ПрограммированиеData science+3
Анонимный вопрос
  ·   · 2,9 K
Openstack DevOps and IBM/Informix Certified DBA...  · 12 авг 2022
Нормализация экземпляров должна выполняться после разделения данных между обучающим и тестовым наборами с использованием только данных из обучающего набора. Это связано с тем, что тестовый набор играет роль свежих невидимых данных, поэтому он не должен быть доступен на этапе обучения. Использование любой информации, полученной из тестового набора до или во время обучения, может привести к систематической ошибке при оценке производительности. При нормализации тестового набора следует применять параметры нормализации, ранее полученные из тренировочного набора как есть. Не пересчитывайте их на тестовом наборе, потому что они будут несовместимы с моделью, и это приведет к неправильным прогнозам.