Это ОН не понимает, что происходит.
А также ваш постоянный партнер, с которым вы в отношениях, наверняка не понимал бы, что происходит, если бы был в курсе ситуации.
Вы не свободны, с текущим партнером отношения не разрываете, но при этом ждете, что куда-то двинуться ваши отношения с другим парнем, это как вообще?
Если вы разлюбили постоянного партнера, то бросайте его и сообщите своему воздыхателю с работы, что вы свободны.
Или если вы не собираетесь бросать постоянного партнера, то заявите как есть, что ищите интрижку на стороне, чтобы парень понимал, что его хотят в любовники и себе не фантазировал романтик.
А так выглядит с вашей стороны как желание усидеть на двух стульях.