Известно по записи со слов матери.
"Со слов" тут не поможет - ни при установлении отцовства, ни при установлении... дедовства.
Поможет только ДНК-тест, и вы всегда можете настоять на этом тесте через суд, если дело связано, например, с наследством - выдвигаете свои притязания, суд просит вас подтвердить родство, вы требуете тест.
Думаю, что в этом случае поможет только ДНК тест. А делать его не всякий согласится. Ну или требуются свидетельские показания каких-то очевидцев, которые в курсе кто там был чей сын.