Если в качестве
готовой реализации GridSearchCV, или, говоря по-русски — решетчатого поиска с кросс-валидацией, использовать библиотеку Scikit Learn, то одним из параметров вызова функции является scoring.
В случае если необходим собственный оценщик, его можно реализовать в виде вызываемого объекта (функции) самостоятельно и передать в качестве значения аргумента scoring (
пример из документации).
Напоследок можно упомянуть про очень хороший уровень гибкости и абстрактности Scikit Learn, благодаря которому можно создавать абсолютно любые наборы метрик оценки производительности вашей модели.