Если кратко: если конденсатор хотя бы немного заряжен, то потенциал в разных точках диэлектрика разный. Далее будем считать, что конденсатор заряжен и более не заряжается и не разряжается.
В этом случае можно утверждать, что везде в приповерхностном слое у одной пластины потенциал имеет одно постоянное значение, а в приповерхностном слое у другой пластины - другое постоянное значение. И это так при любой форме пластин. Если бы это было иначе, то свободные заряды внутри пластин начали бы перетеакать по пластинам до выравнивания потенциала по всей поверхности.
А вот в перпендикулярном к поверхности пластин направлении (т.е. вдоль воображаемых силовых линий электрического поля) потенциал меняется, начиная от самой поверхности одной пластины до поверхности другой пластины.
Если взять произвольную точку в толще диэлектрика, то можно построить воображаемую поверхность, проходящую через эту точку и везде перпендикулярную к силовым линиям (в случае бесконечного плоского конденсатора такой поверхностью будет плоскость, параллельная пластинам конденсатора). Так вот везде на этой поверхности потенциал будет одинаков. Но он будет отличаться как от потенциала на одной пластине, так и от потенциала на другой пластине.
Так что (опять-таки кратко): в пространстве между пластинами потенциал меняется наиболее быстро вдоль силовых линий и не меняется вообще в направлении перпендикулярном к силовым линиям.