Из какой точки пространства вселенная начала расширяться?

Вселенная не расширялась из точки пространства. Вселенная расширялась вместе с пространством. Центра этого расширения нет. Или, если хотите, любая точка Вселенной - центр расширения.

Откуда это известно? Из закона Хаббла. Хаббл первым заметил, что чем дальше находится космический объект, тем быстрее он от нас убегает. 

Это можно представить графически примерно так. Здесь длина линий соответствует скорости убегания. Центральная точка - Земля.

Окей. Давайте теперь мысленно перенесемся на другую звезду. Скажем, на ту, что сразу слева от нашей Земли.

Очевидно, что скорость этой звезды - назовем ее А - относительно ее самой будет ноль. Мы же прямо на ней теперь находимся, верно? А скорости всех остальных звезд мы просто пересчитаем, вычтя из их прежних, измеренных на Земле значений скорости, скорость нашей звезды А, также измеренную на Земле.

Получится так:

Что мы видим? Точка А теперь стала новым центром, а все остальные звезды от нее убегают.

Выберем другую произвольную точку, например, ту что на рисунке выше обозначена B.

И опять: наша звезда в центре, а остальные от нее убегают.

И что характерно: закон Хаббла выполняется в каждом из трех случаев одинаково! На какой бы звезде или галактике мы ни находились, мы везде будем видеть, что остальные объекты удаляются от нас тем быстрее, чем дальше они находятся. 

Т.е. Вселенная не имеет центра расширения.

Доступные аналогии: надуваемый воздушный шарик. Нарисованные на нем точки разбегаются друг от друга, но ни одна из них не является центром расширения.

Или изюм на кексе в процессе его выпекания:

В случае кексов и воздушных шариков за некий условный центр можно принять точку внутри шарика. Казалось бы, это решает проблему и отвечает на Ваш вопрос. Но вот беда: наблюдениям реального мира такое предположение не соответствует. Грубо говоря, в центре надуваемого шарика нет резины, нечему приписать точку, относительно которой раздувается шарик. Вот и со Вселенной такая же петрушка - там где мог бы быть гипотетический центр расширения, Вселенной просто не существует. А там, где она существует, нет центра расширения.