Con fama de vividor, Frank Sinatra se casó con Nancy Barbato, su primera mujer de la que se divorció en 1951 y con la que tuvo sus tres hijos Naci, Tina y Frank Jr. Conoció a Ava Gadner lo encontró arrogante, engreído y prepotente. Se enamoraron, aunque su romance permaneció en secreto debido a la denominada Claúsula Moral que Ava tenía firmada con la Metro. Pero el idilio acabó por hacerse público y Nancy anunció su separación el día de San Valentín de 1950. Ava fue tachada de rompehogares y viajó a España a rodar Pandora y el holandés errante. Frank se apresuró en llegar a España bajo los rumores de un romance entre Ava y Mario Cabré, torero y pareja suya en la película.
El 31 octubre de 1951 Nancy consigue la nulidad del matrimonio por crueldad mental. Al día siguiente, Frank Sinatra y Ava consiguieron una licencia de matrimonio. Además mantuvo relaciones con Lana Turner, con las actrices Mercedes McCambridge y Donna Reed, con Juliet Prowse, Kim Novack, Jacquelline Biset, Judy Garlan, Jill St. John, Marilyn Monroe y Grace Kelly. Con Shirley Maclaine su gran amiga, formó parte del Rat Pack. Con Lauren Bacal, incluso se llegó a anunciar su boda. Mia Farrow, fue su tercer matrimonio en 1966 y otra de sus grandes amigas después de su divorcio en 1968 y Bárbara, viuda de Zeppo Marx fue con la que se casó por última vez en 1976.
Jackie Kenedy fue uno de los romances más sonados, siendo ella era viuda. Sinatra pertenecía al Rat Pack, el grupo de amigos más íntimo de Sinatra de hecho se les denominaba el Clan Sinatra. Organizaron giras y realizaron varias películas. Pertenecian a el Dean Martin, Sammy Davis Jr., Peter Lawford, Joey Bishop, Shirley Maclaire y Angie Dickinson. Su primera película fue Ship Ahoy en 1942, pero no es hasta Higher and Higher cuando empieza a cosechar algún éxito, comienza a introducir canciones como You belong in a love song, The music stopped y I saw you first entre otras, su compañera en ese film fue Michele Morgan.
Frank Sinatra actuó en películas musicales como Levando anclas (1945, George Sidney) y Un día en Nueva York (1949, Stanley Donen). En 1953 ganó un Oscar por su actuación (no cantada) en De aquí a la eternidad (1953, Fred Zinnemann). Después de una breve época de descanso (1971-1973) volvió a su actividad como cantante. En 1993 grabó Frank Sinatra Duets, álbum con canciones suyas interpretadas a dúo con otros cantantes famosos como Barbra Streisand y Aretha Franklin, el cantante español Julio Iglesias y Bono, cantante del grupo de rock irlandés U2.
Frank Sinatra falleció en Los Angeles la noche del 14 de mayo de 1998 de un ataque al corazón en el prestigioso Hospital Cedar Sinaí, a los 82 años de edad y en compañía de sus hijos y su última esposa.