Термин эгоизм несет негативный оттенок, когда речь идет об ущемлении другого человека, или других людей. Без такого ущемление речь идет об отставании своих интересов, заботе о себе, стремление получить для себя пользу и выгоду.
С этой точки зрения, общаясь с подругой Вы чем-то ущемляете или игнорируете ее интересы в свою пользу - ведете себя эгоистично с ее точки зрения. В общении с другими людьми вы считаетесь с их интересами, отстаивая свои - они Вас эгоистом и не считают.