Ce toponyme a été adopté dans le cadre de l'harmonisation des noms de rues, rendue nécessaire par le regroupement municipal du 1er janvier 2002. Il perpétue la mémoire d'un des premiers propriétaires résidants, Joseph Rousseau, dont la maison se dressait au croisement de la rue Sheppard et de l'avenue Joseph-Rousseau. Rousseau était chargé des approvisionnements sur les navires de croisière de la Canada Steamships Line.

Anciens toponymes
La rue Joseph-Rousseau portait à l'origine le nom de rue Alleyn, adopté vers 1930. Cette dénomination rappelait le souvenir de Miriam Alleyn, fille de l'honorable Richard Alleyn et épouse de Charles Taillebois de Preston, à qui appartenaient les terrains de ce secteur. La rue Alleyn a pris ensuite le nom d'avenue Rousseau, adopté vers 1940, attribué en l'honneur de Joseph Rousseau.