По определению потенциал есть работа по переносу единичного заряда из бесконечно удаленной точки в вакууме в точку потенциал в которой вы хотите определить. Работа по переносу единичной массы к гравитирующему телу отрицательна - то есть не вы ее совершаете, а гравитационная энергия. Чем дальше начальная точка (из которой тело начинает падать) от точки в которую она упадет, тем больше работы она совершит, то есть тем выше ее гравитационная энергия и потенциал. Это означает, что нем ниже наша масса, тем меньше ее гравитационная энергия, там меньше работы она может совершить.
Ну а поскольку нуль энергии на бесконечности, то в любом месте которое ближе, эта энергия отрицательна. Тут не о чем договариваться кроме выбора нулевой точки, а нулевая точка - единственное место где эта энергия превращается в константу. Других таких мест, кроме бесконечности, мы не знаем.