Да, можете.
Часть 1 статьи 158 Семейного кодекса: "браки между гражданами РФ и браки между гражданами РФ и иностранными гражданами или лицами без гражданства, заключенные за пределами территории РФ с соблюдением законодательства государства, на территории которого они заключены, признаются действительными в РФ, если отсутствуют предусмотренные статьей 14 настоящего Кодекса обстоятельства, препятствующие заключению брака".
Процедура заключения брака будет проходить по грузинским законам. После получения свидетельства о регистрации брака на грузинском языке, для того, чтобы ваш брак признавался в России/Украине/др. стране, вам необходимо перевести свидетельство на русский/украинский/др. язык и нотариально заверить его.