Это связано с линейностью и антикоммутативностью векторного произведения:
[ax+by, z] = a[x, z] + b[y, z]
[a, b] = -[b, a]
Из определения мы можем сходу сказать, чему оно равно для ортов:
[e1, e2] = e3, [e2, e3] = e1, [e3, e1] = e2
[e1, e1] = [e2, e2] = [e3, e3] = 0
Теперь пользуемся тем, что любой вектор -- линейная комбинация ортов:
a = a1 * e1 + a2 * e2 + a3 * e3
b = b1 * e1 + b2 * e2 + b3 * e3
Отсюда можно выразить:
[a, b] = a1*b2*[e1,e2]+a1*b3*[e1,e3]+a2*b1*[e2,e1]+a2*b3*[e2,e3]+a3*b1*[e3,e1]+a3*b2*[e3,e2]
[a, b] = e3 * (a1*b2 - a2*b1) + e2 * (a3*b1 - a1*b3) + e1 * (a2*b3 - a3*b2)
Никакие системы уравнений здесь решать не надо, это прямое следствия базовых свойств векторного произведения!