Jimmy Raney empezó a estudiar guitarra con su madre, comenzando por la guitarra clásica en los primeros años escolares. Su paso a la guitarra de jazz se produjo a los trece años cuando un amigo músico le hizo conocer la música de Charlie Christian. En 1944 entró a formar parte de la orquesta de Jerry Wald en New York.
Durante los tres meses
Jimmy Raney que estuvo en esa orquesta pudo oír a los creadores del bebop desarrollar su estilo y ése nuevo sonido, fue decisivo para el impulso de su carrera.
Jimmy Raney se trasladó a finales de 1944 a Chicago trabajando entre otros grupos con Max Miller y Lou Levy. En 1948, recomendado por Tiny Khan, entró a formar parte de la orquesta de Woody Herman donde permaneció hasta el año siguiente y dejando detrás una gran amistad con otros miembros de la banda, como Stan Getz y Serge Chaloff.
En la Costa Oeste Jimmy Raney compartía casa con el también guitarrista, Tal Farlow y Teddy Charles y sus colaboraciones con el trío del pianista, Al Haig, o con el sexteto del clarinetista Buddy de Franco, le permitieron obtener una excelente reputación entre los músicos de jazz. Entre 1949 y 1950, tocó con los “Gramercy Five” del clarinetista blanco, Artie Shaw.
Entre 1951 y 1953
Jimmy Raney estuvo en el quinteto de su viejo amigo Stan Getz y al finalizar 1953, entró en el trío del vibrafonista, Red Norvo con quien tuvo la oportunidad de realizar una larga gira por Europa entre enero y febrero de 1954. En ésa gira europea, tuvo la fortuna de coincidir en una grabación con la cantante Billie Holiday.
En 1953 Jimmy Raney grabó el primer disco a su nombre para el sello Prestige: “Jimmy Raney Plays” y en 1955, reapareció en la escena jazzistica de New York tocando en el club “Blue Angel” con el trío de Jimmy Lyons. En 1954 y 1955, la revista Down Beat en la votación de los críticos de jazz, le proclamó el mejor guitarrista de jazz del mundo.
Tras un percance en un vuelo se llevó seis años recluido en la Gran Manzana al negarse a subir de nuevo al avión. Sus grabaciones discográficas se sucedieron al lado de los mejores músicos de la época, como Stan Getz, Bob Brookmeyer y el también guitarrista, Jim Hall. En 1959 se puso a estudiar en serio el violoncello y composición clásica con Hall Overton, y dedicó gran parte de su tiempo profesional al acompañamiento de cantantes como: Tony Bennett, Andy Williams o Anita O´Day.
En 1964
Jimmy Raney se recluyó en su casa abandonando su carrera profesional hasta 1972 cuando de nuevo reapareció en New York. En esa nueva etapa, y tras la aparición en el escenario de su hijo Doug, compartió grabaciones con él y realizó alguna gira donde ambos, padre e hijo, eran los protagonistas.
Su vuelta a los estudios de grabación se produjo en el sello “Steeple Chase” junto a su hijo en dos discos grabados en 1979.
De ahí hasta su muerte, ocurrida en 1995, Jimmy Raney extendió su maestría por los escenarios participando en numerosos festivales de jazz, conciertos y actuaciones en clubes y visitando asiduamente los estudios de grabación. Jimmy Raney fue uno de los grandes maestros de la guitarra de jazz, y su improvisación, llena de swing, era de una inventiva extraordinaria. Su modo de tratar la melodía, y el lirismo de su estilo fueron su mejor tarjeta de presentación durante toda su carrera.
