Quand les Jackson 5 se forment, Randy n’a que deux ans. Il n’est donc pas de la première heure, mais il grandit dans la maison où l’on répète à longueur de journée. Pendant que ses frères enchaînent les tournées, il apprend le piano et les percussions, dont les congas, qui deviendront sa marque de fabrique. Il monte sur scène avec eux dès 1971, et il est de toutes les tournées à partir de 1972.
Son vrai tournant arrive en 1975. Le groupe quitte Motown pour CBS, Jermaine choisit de rester chez Berry Gordy, et Randy prend sa place. Les Jackson 5 deviennent alors The Jacksons, la formation que l’on connaît pour la suite. Il n’est plus seulement le petit frère qui accompagne : il écrit et il chante. On lui doit notamment des coécritures comme « Shake Your Body (Down to the Ground) », et c’est lui qui partage le chant avec Michael sur « Can You Feel It », en prenant les couplets.
Sa carrière aurait pu s’arrêter net le 3 mars 1980. Ce jour-là, il est grièvement blessé dans un accident de voiture à Hollywood. Le choc est tel que le groupe doit revoir la promotion de l’album Triumph et repousser ses concerts, le temps de sa convalescence. Randy se remet pourtant sur pied et participe à la tournée Triumph en 1981, puis à la Victory Tour en 1984. L’album Triumph vaudra d’ailleurs au groupe une nomination aux Grammy Awards.
Après la Victory Tour, il collabore avec Lionel Richie sur l’album Dancing on the Ceiling (1985), puis lance son propre projet, Randy & the Gypsys, signé chez A&M. L’album sort en 1989, un mois seulement après Rhythm Nation 1814 de sa sœur Janet. Impossible pour le label de défendre les deux disques en même temps : le groupe se sépare peu après.
Randy a aussi connu des déceptions plus symboliques. En 1997, lors de l’intronisation des Jackson 5 au Rock and Roll Hall of Fame, seuls les cinq membres d’origine sont honorés. Il reste sur le bord de la scène. Depuis, il a surtout travaillé dans l’ombre, côté business, et il est associé à Janet au sein de son label indépendant, Rhythm Nation Records.
