Каковы современные стандарты проектирования веб-сайтов?

Стандартов нет и не будет в ближайшее время.

Единственный нормативный документ при разработке это техническое задание. Составляется ТЗ исходя из уровня компетенции сторон - заказчика и исполнителя. То есть, там может быть написано абсолютно все что угодно, и зачастую ТЗ не отражает всех пожеланий заказчика, но тем не менее это единственный документ которому должен соответствовать проект. 

Однако, мы видим каждый день огромное количество похожих друг на друга сайтов, которые подчиняются одинаковой логике. Значит есть какая-то система, которой придерживаются разработчики.

Она действительно есть. И подчиняется определенным законам. И чем грамотнее разработчик тем более он следует им.

Возьмем дизайн сайтов. Их структура не хаотична и не является результатом полета дизайнерской мысли, а строится на основе поведенческих паттернов (годная статья), которые изучаются UX дизайнерами. Грубо говоря если типичный юзер привык к трехколоночному или двух (как на theQ) макету сайтов, которые он видит каждый день, то в разработке дизайна будет учитываться этот фактор. Или к примеру если вы наводите на текст мышью и он подчеркивается, а иконка курсора меняется, то вы понимаете, что это ссылка. В этом случае не нужно придумывать нестандартные решения, поэтому дизайнер будет оперировать вашим опытом использования сайтов. Это негласные "стандарты" которым вы можете следовать в разработке а можете нет, главное понимать какой результат вы хотите получить.

Что же касается кодинга - тут каждый сам выбирает свой стандарт - он заключается в наборе инструментов и методик которые используются в разработке. Их достаточное количество для решения разных задач. Хороший кодер старается следовать логике того инструмента, который он использует, ну а если не следует - получается, как говорится - говнокод, результатом такой работы становится проект, который может поддерживать только тот, кто его написал. 

Добавлю, что в Российской Федерации есть требования к сайтам гос. учреждений. Это прописано в законодательных документах. Хоть это и оформлено как "требования", это можно расценивать как определенный стандарт.