В основе работы элементов Пельтье лежит контакт двух полупроводниковых материалов с разными уровнями энергии электронов в зоне проводимости. При протекании тока через контакт таких материалов электрон должен приобрести энергию, чтобы перейти в более высокоэнергетическую зону проводимости другого полупроводника. При поглощении этой энергии происходит охлаждение места контакта полупроводников. При протекании тока в обратном направлении происходит нагревание места контакта полупроводников, дополнительно к обычному тепловому эффекту.
При контакте металлов эффект Пельтье настолько мал, что незаметен на фоне омического нагрева и явлений теплопроводности. Поэтому при практическом применении используется контакт двух полупроводников.
Элемент Пельтье состоит из одной или более пар небольших полупроводниковых параллелепипедов — одного n-типа и одного p-типа в паре (обычно теллурида висмута Bi2Te3 и твёрдого раствора SiGe), которые попарно соединены при помощи металлических перемычек.Металлические перемычки одновременно служат термическими контактами и изолированы непроводящей плёнкой или керамической пластинкой. Пары параллелепипедов соединяются таким образом, что образуется последовательное соединение многих пар полупроводников с разным типом проводимости, так чтобы вверху были одни последовательности соединений (n->p), а снизу - противоположные (p->n). Электрический ток протекает последовательно через все параллелепипеды. В зависимости от направления тока верхние контакты охлаждаются, а нижние нагреваются — или наоборот. Таким образом электрический ток переносит тепло с одной стороны элемента Пельтье на противоположную и создаёт разность температур.
Если охлаждать нагревающуюся сторону элемента Пельтье, например при помощи радиатора и вентилятора, то температура холодной стороны становится ещё ниже. В одноступенчатых элементах, в зависимости от типа элемента и величины тока, разность температур может достигать приблизительно 70 °C.