Я бы сказал, что триллер более широкое понятие. Триллер это жанр, который направлен на нагнетание напряжения, тревожного ожидания. Триллер может быть приключенческим, психологическим, детективным, технотриллером и т. д.
Хоррор, на мой взгляд, более узкое понятие. Он стремиться не столько держать зрителя в напряжении, сколько напугать его, вызвать вполне конкретные эмоции страха и ужаса. Т. е. это одно из разновидностей триллера - триллер-ужастик.