Всё зависит от характеристики фото. Если это Ваши личные (возможно интимные) фотографии , то обращение в полицию юридически это единственный выход. Действия злоумышленника квалифицируются в данном случае по ст. 163 УК РФ (Вымогательство) в совокупности со ст. 137 УК РФ (Нарушение неприкосновенности частной жизни).
Если сумма небольшая, то можете и заплатить, на ваше усмотрение. А на будущее - не выкладывайте свои фото в открытый доступ. Закройте все свои аккаунты в соцсетях, и будет вам счастье.
А потом у вымогателя закончатся деньги и он опять предложит заплатить. Лучше по закону. Тут явный криминал.