De la mano del pianista-empresario, Seger Ellis, The Mills Brothers, se trasladaron a New York y consiguieron grabar entre 1931 y 1933, varios discos para la “Brunswick” y al año siguiente con la DECCA. Firmar con esta ultima compañia los hizo famosos ya que sus discos se exportaban a todo el mundo y tuvieron un éxito enorme. Su estilo, muy jazzistico, hizo que fueran numerosas las bandas de swing que los acompañaron, entre ellas la de Duke Ellington, Cab Calloway o la de Don Redman. Su participación en numerosas películas también les proporcionó una popularidad añadida, siendo la mas famosa de ella la titulada: “The Big Broadcast”.
De gira por Europa, en 1934 The Mills Brothers actuaron en el celebre teatro londinense “Palladium” al que volvieron al año siguiente. En 1936, John Mills murió y su padre, que regentaba una barbería pero tenía una buena voz de bajo, se unió a sus hijos para evitar la disolución del grupo. Estuvo con ellos hasta 1956.
The Mills Brothers, tuvieron papel destacado en la era del swing. Supieron crear su propio universo musical sobre la base de trasmitir en pequeñas miniaturas de gran valor el estilo vocal afroamericano.