Потому что средний русскоговорящий человек имеет достаточный словарный запас, чтобы различать слова, в которых есть и в которых нет буквы Ё. Например, он никогда не подумает, что существует слово "_Е_жик", потому что он знает, что его нет. Исключение составляют те слова, в которых большинство начинает путаться: те(ё)рпкий, све(ё)кла и т.д.