Да, вы правильно поняли. Если правило обратной пропорциональности силы тяжести квадрату расстояния соблюдается, то с ростом высоты (расстояния от центра Земли) сила тяжести и, соответственно, ускорение свободного падения будут уменьшаться.
Конкретно, с ростом высоты на 1 км ускорение свободного падения гравитацией уменьшается примерно на 0,3 м/с2. То есть если на поверхности Земли ускорение составляет 9,8 м/с2, то на высоте 1 км оно будет 9,5 м/с2, на высоте 2 км - 9,2 м/с2 и т.д. При достижении высоты более 6000 км (на орбите Земли) ускорение стремится к нулю и объект остается в невесомости.
Таким образом, да, с увеличением высоты вы будете падать с меньшим ускорением вследствие ослабления силы тяжести.