Никаких особенностей в плане распределения обучающей выборки на тренировочную, валидационную и тестовую тут нет. Всё зависит от объема вашей обучающей выборки. Если речь идёт о задаче классификации (а для этого RCNN и применяется), вы должны понимать, что и в тесте, и в валидации у вас должно содержаться достаточно элементов из каждого класса, чтобы показатели модели на этих выборках могли максимально точно отражать её качество. При этом и в тренировочной выборке обязательно должны присутствовать элементы всех классов в больших объемах. Также все классы должны содержать примерно равное количество элементов для более качественного обучения. Я, если понимаю, что данных в избытке, то на тренировочную выборку отдаю 75% картинок и по 12,5% на валидационную и тестовую. Если же элементов недостаточно, то я увеличиваю валидацию с тестом, а в тренировочных данных использую аугментации. И этот принцип работает для большинства других моделей классификации, не только для RCNN.