Roussel naît dans un milieu bourgeois, son père est médecin. La guerre de 1870 conduit la famille à quitter la Moselle avant son annexion par l'Allemagne pour Paris. Il a douze ans quand ses parents se séparent. Il vit, lui et son jeune frère avec leur père dont l'appartement est fréquenté par les peintres, écrivains et musiciens. Quand il annonce à son père sa décision de devenir peintre, celui-ci sera enchanté.