Ory tocaba el banjo durante su juventud y se dice que su habilidad para tocar el banjo lo ayudó a desarrollar el “tailgate”, un estilo particular de tocar el trombón. En el estilo “tailgate”, el trombón toca una línea rítmica debajo de las trompetas y las cornetas.La casa de Jackson Avenue que aparece en la imagen de la derecha es donde Buddy Bolden descubrió a Ory, tocando su primer trombón nuevo, en lugar del antiguo trombón de la guerra civil. Desafortunadamente, su hermana dijo que era demasiado joven para tocar con Bolden.
Tenía una de las bandas más conocidas de Nueva Orleans en la década de 1910, contratando a muchos de los grandes músicos de jazz de la ciudad, incluidos los cornetistas Joe “King” Oliver, Mutt Carey y Louis Armstrong; y los clarinetistas Johnny Dodds y Jimmie Noone.
En 1919 se mudó a Los Ángeles (uno de los muchos músicos de Nueva Orleans que lo hicieron en esa época) y grabó allí en 1921 con una banda que incluía a Mutt Carey, el clarinetista y pianista Dink Johnson y el contrabajista Ed Garland. Garland y Carey eran socios de mucho tiempo que seguirían tocando con Ory durante su regreso en la década de 1940. Mientras estaban en Los Ángeles, Ory y su banda grabaron dos canciones, “Ory’s Creole Trombone” y “Society Blues”. Fueron las primeras grabaciones de jazz realizadas en la costa oeste por una banda de jazz afroamericana de Nueva Orleans. Su banda grabó con la compañía discográfica Nordskog y Ory les pagó por las copias y luego las vendió bajo su propio sello de “Kid Ory’s Sunshine Orchestra” en una tienda de Los Ángeles llamada Spikes Brothers Music Store. En 1925, Ory se mudó a Chicago, donde estuvo muy activo, trabajando y grabando con Louis Armstrong, Jelly Roll Morton, Joe “King” Oliver, Johnny Dodds, Bessie Smith, Ma Rainey y muchos otros. Fue mentor de Benny Goodman y, más tarde, de Charles Mingus.
Durante la Gran Depresión, Ory se retiró de la música y no volvería a tocar hasta 1943. Desde 1944 hasta aproximadamente 1961 dirigió una de las mejores bandas de estilo neoorleans de la época. Además de Mutt Carey y Ed Garland, entre sus acompañantes durante este período se encontraban los trompetistas Alvin Alcorn y Teddy Buckner; los clarinetistas Darnell Howard, Jimmie Noone, Albert Nicholas, Barney Bigard y George Probert; los pianistas Buster Wilson, Cedric Haywood y Don Ewell; y el baterista Minor Hall. Todos, excepto Probert, Buckner y Ewell, eran originarios de Nueva Orleans.
La banda de Ory fue una fuerza importante en la reactivación del interés por el jazz de Nueva Orleans, realizando populares emisiones de radio entre 1941 y 1942 (entre ellas, varios espacios en la emisión del Orson Welles Almanac y una serie sobre la historia del jazz patrocinada por Standard Oil), así como también realizando grabaciones.
Ory se retiró de la música en 1966 y pasó sus últimos años en Hawái, con la devota ayuda de Trummy Young. Murió en Honolulu.