Почему потенциальная энергия гравитационного поля отрицательна? Какой в этом физический смысл? Относительно чего она отрицательна?

Потенциальная энергия определена с точностью до константы. В различных задачах Вы можете и должны выбирать за ноль потенциальной энергии то, что удобно выбрать за ноль в данной конкретной задаче.

Например, решая задачу о качелях, вы можете выбрать за ноль потенциальной энергии самую нижнюю точку их траектории. В этом случае, потенциальная энергия будет везде положительна, кроме этой точки.

Случай, когда потенциальная энергия отрицательна, соответствует выбору нуля на бесконечности. Рассуждение ведётся примерно так: на бесконечном расстоянии всякое влияние тяготеющего тела должно отсутствовать, поэтому, приписываем потенциальной энергии математическое обозначение отсутствия, то есть, число ноль.

Притяжение тела в этом случае будет проявлением стремления системы к минимуму энергии, а визуально это будет представляться, как "потенциальная яма".