Чёткой границы между этими жанрами нет. В кино в качестве жанра для одного фильма можно указать через запятую "хоррор, триллер". Но конечно есть различия между этими жанрами, как между разными оттенками цвета. Слово "триллер" переводится с английского как "трепет, волнение", а слово "хоррор" переводится буквально как "ужас". Соответственно, триллер должен вызывать напряжение, волнение, но не обязан вызывать страх, отвращение и ужас. В отличие от хоррора.