Каждый клиент СУБД открывает канал обмена информацией с сервером СУБД. Именно это и есть соединение с SQL сервером. Важный момент, один сервер может открыть несколько соединений.
Ещё есть соединения - оператор языка SQL. Соединения JOIN реализует операцию соединения реляционной алгебры. Если просто объяснить, то берется таблица А и по какому-то общему полю объединяется с таблицей B. Например, соединение таблицы поставщиков с таблицей объемов поставок по уникальному идентификатору поставшика. Это позволит нам получить название всех поставшиков и объем их поставок. Вместо непонятных идентификаторов мы получим буквенные имена. Подробнее об этой интерпретации термина вы можете почитать здесь: