Прирост потенциальной энергии численно равен работе против силы гравитации.На бесконечности потенциальная энергия равна нулю,так как сила притяжения на бесконечности равна нулю (точнее потому,что сила гравитации обратно пропорциональна квадрату расстояния) и в то же время она максимальна.Вот и получается,что значение потенциальной энергии может принимать только отрицательные значения.Что касается приведённой вами формулы,то там в выражении под интегралом утерян минус,так как работа совершается против силы гравитации.