Jimmy Dorsey nació en Shenandoah, Pensilvania, hijo de un minero de carbón que se convirtió en profesor de música y hermano mayor de Tommy Dorsey, que también se convirtió en un músico destacado. Tocó la trompeta en su juventud y apareció en el escenario con los King Trumpeters de J. Carson McGee en 1913. Pasó al saxofón alto en 1915 y luego aprendió a tocar el clarinete. Jimmy Dorsey tocaba con un clarinete equipado con el sistema de digitación Albert, en contraposición al sistema Boehm más común utilizado por la mayoría de sus contemporáneos, incluidos Benny Goodman y Artie Shaw.
Junto con su hermano Tommy, que tocaba el trombón, formó Dorsey’s Novelty Six, una de las primeras bandas de jazz que emitieron. En 1924 se unió a los California Ramblers (que tenían su base en la ciudad de Nueva York). Durante la década de 1920, realizó muchos trabajos independientes en la radio y en grabaciones. Los hermanos también aparecieron como músicos de sesión en muchas grabaciones de jazz. En 1930, se unió a la banda de Ted Lewis, con quien realizó una gira por Europa.
Tras regresar a los Estados Unidos, trabajó brevemente con Rudy Vallee y otros directores de orquesta, además de con la Dorsey Brothers Orchestra junto a Tommy. Apareció en al menos setenta y cinco programas de radio (muchos de ellos con su hermano), como miembro de la orquesta de Nathaniel Shilkret en programas como el de 1932, “The Music That Satisfies”, también conocido como Chesterfield Quarter Hour. Tommy se separó para formar su propia banda en 1935 después de una disputa musical con Jimmy. La Dorsey Brothers Orchestra se convirtió en la Jimmy Dorsey Orchestra, e incluyó a músicos como Bobby Byrne, Ray McKinley y Skeets Herfurt junto con los vocalistas Bob Eberly y Kay Weber.
En 1939, Jimmy Dorsey contrató a Helen O’Connell como su cantante femenina. Ella y Eberly poseían un encanto de “chico y chica de al lado” y su pareja produjo varios de los mayores éxitos de la banda. Muchas de las grabaciones de Eberly-O’Connell fueron arregladas en un formato “abc” inusual de 3 secciones. Se dice que el formato de tres partes fue desarrollado por insistencia de un productor de discos que quería presentar a ambos cantantes y a la banda completa en una sola grabación de 3 minutos a 78 rpm. Eberly cantaba el primer minuto, generalmente como una balada romántica lenta, el minuto siguiente presentaba a la banda completa respaldando el saxofón de Jimmy, y el último minuto lo cantaba O’Connell en un estilo más animado, a veces con letras en español. Kitty Kallen cantó con la orquesta de Jimmy Dorsey después de la partida de Helen O’Connell en 1942. La primera esposa de Jerry Lewis, Patti Palmer (cuyo nombre de nacimiento era Esther Calonico), fue cantante de su orquesta durante menos de un año, a partir de 1944 aproximadamente.
Jimmy Dorsey continuó liderando su propia banda hasta principios de los años 50. En 1953 se unió a la Orquesta de Tommy, rebautizada como “Tommy Dorsey and his Orch. featuring Jimmy Dorsey”. El 26 de diciembre de 1953, los hermanos y su orquesta aparecieron en el programa de televisión de Jackie Gleason en la CBS. El éxito de esa aparición televisiva llevó a Gleason a producir un programa de variedades semanal, Stage Show, presentado por los hermanos en la CBS de 1954 a 1956. Elvis Presley apareció en varias de las transmisiones. Estas fueron las primeras apariciones de Presley en la televisión nacional.
Jimmy Dorsey se hizo cargo de la dirección de la orquesta tras la muerte de Tommy. Jimmy sobrevivió a su hermano sólo unos meses y murió de cáncer de garganta, a los 53 años, en la ciudad de Nueva York. Sobreviven las emisiones de Jimmy Dorsey y The Fabulous Dorsey Orchestra en NBC Bandstand del 25 y el 31 de diciembre de 1956. También están disponibles al menos otras dos emisiones existentes del mes de diciembre de 1956. No han aparecido grabaciones de la banda de su gira de invierno de 1957. Estas grabaciones proporcionarían la última evidencia auditiva del trabajo de Jimmy Dorsey. Se cree que la última aparición de Dorsey fue en Joplin, Missouri, el 12 de marzo de 1957.
Poco antes de su muerte, recibió un disco de oro por “So Rare”, que se grabó el 11 de noviembre de 1956. Existe una controversia sobre quién tocó el solo de alto en la grabación de “So Rare”, Dick Stabile o Jimmy Dorsey. Alcanzó el puesto número dos en las listas de Billboard, convirtiéndose en la canción de una big band que alcanzó el puesto más alto en las listas durante la primera década de la era del rock and roll.
Jimmy Dorsey es considerado uno de los saxofonistas alto más importantes e influyentes de la era de las big bands y el swing, y también de la era posterior. El saxofonista de jazz Charlie Parker lo mencionó como uno de sus favoritos personales.
Durante sus primeros días como músico, Jimmy Dorsey actuó con varios otros conjuntos y artistas, incluidos los Scranton Sirens, The California Ramblers, Red Nichols, Jean Goldkette, Ben Pollack y Paul Whiteman. Él y su hermano menor Tommy formaron varias bandas conocidas como “The Dorsey Brothers Orchestra” a fines de la década de 1920 y principios de la de 1930, que terminaron repentinamente en mayo de 1935, cuando Tommy se retiró furioso del escenario después de una discusión en el escenario. Durante varios meses, Jimmy continuó liderando la banda, manteniendo el nombre de Dorsey Brothers, con la esperanza de que su hermano menor regresara, pero no lo hizo. En septiembre de 1935, la banda de Dorsey Brothers se convirtió legalmente en la “Jim Dorsey Orchestra”, después de que Jimmy descubriera que Tommy Dorsey ahora tenía su propia banda y había firmado un contrato de grabación con RCA Victor. Jimmy Dorsey permaneció con Decca Records ya que los dos hermanos ahora competían entre sí musicalmente.
El primer disco de éxito de Jimmy Dorsey fue “You Let Me Down” en 1935. Su primera banda se consideraba más orientada al jazz que la de su hermano, y pronto siguieron grabaciones de algunos clásicos del swing instrumental: Dorsey Stomp, Tap Dancer’s Nightmare, Parade of the Milk Bottle Caps, John Silver y Dusk in Upper Sandusky. La banda apareció en el programa de radio Kraft Music Hall de Bing Crosby y tuvo bastante éxito comercial, aunque se vio eclipsada por Benny Goodman (también clarinetista), cuya big band había acaparado el centro del escenario a mediados de los años treinta. El vocalista principal de Dorsey era Bob Eberly, considerado el mejor en la industria musical, y en 1939, Helen O’Connell se unió a la banda, y la idea de que hicieran duetos juntos resultó ser un gran éxito. Casi todos los discos publicados entre 1939 y 1943 fueron éxitos, pero especialmente los discos hechos con un sabor latinoamericano como “Amapola”, “María Elena” y “Green Eyes”, que encabezó las listas de éxitos en 1941. Sin duda, los vocalistas Helen O’Connell y Bob Eberly fueron dos factores muy importantes en el ascenso de la popularidad de Jimmy Dorsey. Continuaron cantando con su banda en futuros discos y apariciones en películas. A pesar de los cambios de personal, Jimmy siguió siendo uno de los principales líderes de big band después de la Segunda Guerra Mundial y en la década de 1950, siempre actualizando el sonido de su banda, pero el negocio de las big bands estaba empezando a decaer.
Jimmy y Tommy Dorsey se reunieron el 15 de marzo de 1945 para grabar un V-Disc en el Liederkranz Hall de la ciudad de Nueva York. Lanzado en junio de 1945, el V-Disc 451 incluía “More Than You Know” acompañada de “Brotherly Jump”. Las canciones incluían las orquestas combinadas de Jimmy y Tommy Dorsey.
En 1953, él y su hermano se reunieron para formar una (nueva) “Dorsey Brothers Orchestra”. Tommy era el líder del grupo, convirtiendo a Jimmy en colíder y solista destacado. En 1954, Jackie Gleason eligió a su banda para protagonizar un programa de televisión semanal centrado en su banda. El programa, llamado “Stage Show”, fue un gran éxito y dio esperanza a otros líderes de big band en un negocio que estaba en constante declive.
La muerte de Tommy en 1956 y los propios problemas de salud de Jimmy provocaron el fin de su carrera televisiva y musical en 1957.