Economiste de formation, Xavier Ellie entre au groupe Hersant en 1970. Il y devient notamment administrateur général du Figaro (1980-1983), puis président du directoire (1983-1987). Il est ensuite président du conseil de surveillance du Dauphiné libéré (1987-1989). Président de Delaroche SA, société holding du groupe Le Progrès de 1987 à 2000, il est président-directeur-général du Progrès de Lyon de 1989 à 2000.
Xavier Ellie a été également président du Syndicat de la presse parisienne de 2000 à janvier 2005 et de la Fédération nationale de la presse française de 2002 à décembre 2004. En 2006, il reprend le journal Lyon Capitale.