Упоминается еще в античности как жест от сглаза. И "фак", и изображения мужского детородного органа использовались как оберег.
Во время Столетней войны победившие англичане издевательски напоминали французам им об их поражении, показывая им средние пальцы (спуск арбалета нажимается средним пальцем) и орали: "See, we can still pluck yew!" («Понимаете, мы все еще можем натягивать тис!»), у них были луки из тиса. Затем выражение "pluck yew", плавно перетекло в "Fuck you".
Этот жест означает скрытность человека, обычно показывают на тех кому хотят рассказать секрет, но не хотят показывать этого другим, знак так и называется, секрет