Прочитайте Одиссею, если ещё не читали. Так будет понятнее, к чему и к кому отсылают эпизоды и герои Улисса. Одиссея выступит своего рода ключом. Ну и постоянно обращайтесь к комментариям, не ленитесь, иначе чтение потеряет смысл.
С одной стороны, специальная подготовка ох как нужна, это предполагает вся модернистская литература. С другой, если Вы хотите прочитать Джойса, то читайте сейчас. Комментарии реально спасут. А как наберётесь опыта, перечитаете, если захотите.