Мне кажется из-за того, что его "словарный банк" намного меньше чем у обычного языка или письменности. По сути письменная и следовательно устная речь ни чем, формально, не ограничена, а язык жестов ограничен комбинациями движений рук и более высокой сложностью запоминания и воспроизведения.