Fu il primo cantante dei Judas Priest ma Con una moglie e una giovane figlia da sostenere, Atkins fu costretto a “ottenere un lavoro dalle 9 alle 5” nel maggio 1973. A partire dal 2012,  Atkins mise su la band Atkins / May Project, che vede anche il chitarrista Paul May.
Un comunicato stampa del 21 maggio 2011 affermava che  Atkins avrebbe contribuito alla sessione vocale per il progetto dell’opera heavy metal, Lyraka.
Nel 2013, Atkins ha registrato un album solista delle sue canzoni preferite scritte tra i suoi giorni in Judas Priest e i suoi giorni in Holy Rage.