Это понятно - трудно выходить из зоны комфорта. Вы привыкли, что на вас никто не давит, не требует, вы делаете, что хотите, и попадаете в коллектив, где все чего-то требуют, где не все к вам доброжелательны. ОБщение с сотрудниками - не самое легкое дело, мне, например, больше нравится общаться с учениками, а на другой работе отношения с коллективом тоже давались тяжело. Казалось бы, это нормально, и постепенно человек привыкает, но если "ужасно плохо", наверно, нужна помощь психолога.
Насчет личного времени - даже если у вас его очень много, вы его тратите совсем не продуктивно. Много времени у вас просто уходит впустую. Научитесь отвлекаться, снимать стресс, только не алкоголем, конечно. Заняться спортом, сходить в кино или в кафе, прочитать хорошую книгу, чтобы за выходные как следует отдохнуть.