Что если в критерии Сильвестра, есть нулевой минор. Что мы можем тогда сказать о знакоопределенности формы?

Ничего.

Проверьте, является ли форма невырожденной. Если вырождена — знакопеременность не имеет смысла. Если невырождена, то можно переставить векторы базиса так, чтобы все миноры были ненулевыми.