Baron è nato il 26 giugno 1955 a Richmond in Virginia. Quando aveva nove anni, cominciò da autodidatta a suonare la batteria.
Da adolescente, ha suonato in gruppi rock e dixieland jazz e gli è stata data la sua prima opportunità di concerto all’età di 13 anni quando il batterista regolare della pianista BJ Doyle si è ammalato.
Dopo il liceo, ha trascorso un anno al Berklee College of Music. Si trasferisce a Los Angeles nei primi anni ’70 e inizia una carriera professionale, suonando con Carmen McRae e Al Jarreau. Ha lavorato come batterista freelance e musicista di sessione con Chet Baker, Stan Getz, Dizzy Gillespie e Hampton Hawes.
Nel 1982 si trasferisce a New York City e si unisce al chitarrista Bill Frisell, con il quale suonerà spesso per tutta la sua carriera. Ha anche suonato in gruppi con Red Rodney, Fred Hersch, Enrico Pieranunzi e Marc Johnson. A partire dalla fine degli anni ’80, è diventato una parte più importante della scena jazz d’avanguardia quando ha suonato regolarmente alla Knitting Factory, registrato con la cantante Laurie Anderson, e ha iniziato una lunga associazione con John Zorn. Per diversi anni ha partecipato ai progetti di Zorn Naked City e Masada. Baron ha contribuito a David Bowie’s Outside (1995). Bowie avrebbe poi elogiato Baron, affermando: “I metronomi tremano di paura, è così stabile.
