Татьяна Львовна Сухотина-Толстая в своих воспоминаниях описывает глаза отца то как серые (восхищаясь точностью портрета Крамского), то как светло-голубые (вспоминая еще молодого отца, которого застала в детстве). А.Ф. Кони пишет, что глаза были серые. По мнению Бунина, серо-голубые.
Многие мемуаристы, говоря о глазах Толстого, отмечают необычную силу его взгляда: глаза Толстого описываются как «проницательные», «сверлящие», «пытливые», «по-звериному зоркие» (Бунин).