IP-телефония передает данные в сжатом виде пакетами через интернет-соединение. Звук кодируется в цифровой сигнал длиной до нескольких десятков миллисекунд и передается по сети, а на месте декодируется обратно в аудиосигнал.
Для организации IP-телефонии используются специальные IP-шлюзы, соединенные с программами или устройствами для ведения разговора (через шлюзы кодируется, отправляется, принимается и декодируется аудиосообщение), канал интернет-соединения и сервер, на котором разворачивается виртуальная или аппаратная АТС и хранятся данные.