Cagney je rođen u New Yorku.Sin je Jamesa Cahneyja Sr., Amerikanca irskog podrijetla koji je radio kao barmen i amaterski bokser, i Carolyn Nelson; njegova baka s majčine strane bila je norveški kapetan broda, dok mu je deda sa majčine strane bio Amerikanac iz Irske. Crvenokosi, plavooki Cagney maturirao je u srednjoj školi Stuyvesant u New Yorku 1918. pa je nakon toga pohađao Columbia univerzitet.

28. septembra 1922., oženio se sa plesačicom Frances Willard ("Billie") Vernon (1899.-1994.), s kojom je ostao do kraja života. Usvojili su sina, Jamesa Cagneyja Jr., i ćerku, Cathleen "Basey" Cagney.

I njegov brat William, koji bio i producent, i sestra Jeanne, bili su glumci.

Cagney je počeo da glumi u vodviljima i na Broadwayu. Kad je Warner Bros. otkupio prava na film Penny Arcade, angažovali su Cagneyja i Joan Blondell sa pozornice da nastupe na filmu u preimenovanom projektu Sinner's Holiday (1930.), s Grantom Withersom u glavnoj ulozi.

Cagney je počeo da nastupa u glavnoj ulozi u brojnim filmovima, stvorivši etiketu 'čvrstog momka' u seriji kriminalističkih filmova počevši s filmom Državni neprijatelj (1931.), koji je od njega stvorio senzaciju. Njegova karijera nastavila se sa filmomovima Smart Money (1931.), njegova jedina saradnja sa Edwardom G. Robinsonom (film je zapravo snimljen pre Državnog neprijatelja, ali objavljen kasnije), Blonde Crazy (1931.), Hard To Handle (1933.). Glumio je i jednog Shakespeareovog lika u filmu - Nicka Bottoma u ekranizaciji Sna letnje noći iz 1935. Cagney je posle nastupio s Humphreyjem Bogartom u filmovima Anđeli garavih lica (1938.) i Burne dvadesete (1939.)

Iako nikad nije rekao da je levičar nego "čvrsti Demokrat", Cagney je izgubio ulogu trenera fudbalske ekipe Notre Dame u filmu Knute Rockne, All American, koja je pripala njegovom prijatelju Patu O'Brienu jer je Cagney potpisao peticiju potpore anti-klerikalnoj špaskoj republikanskoj vladi u Španskom građanskom ratu. Administracija Notre Damea, koja je kontrolisala sve aspekte filma, odbila je da da Cagneyju ulogu. Bilo je to veliko razočaranje za Cagneyja, koji se nadao da će mu uloga fudbalske legende biti prekretnica nakon gangsterskih uloga.

1942. je osvojio Oscara za ulogu Georgea M. Cohana u filmu Yankee Doodle Dandee. Posle toga se vratio svojim gangsterskim korenima u filmu Raoula Walsha, Belo Usijanje (1949.), a glumio je i tiranskog kapetana broda u filmu Gospodin Roberts, zajedno s Jackom Lemmonom i Henryjem Fondom.

Nakon 1979. Cagneyjevo zdravlje se naglo pogoršalo nakon poslednje uloge na filmu, u Ragtimeu, 1981., zaokruživši tako karijeru u kojoj je nastupio u više od 70 filmova, iako je zadnji film pre Ragtimea, bio onaj iz 1961. Jedan, dva, tri, Billyja Wildera. Tokom ovog perioda, Cagney je odbijao sve filmske ponude, uključujući onu značajnu u filmu My Fair Lady, kao i blanko ček Charlesa Bludhorna da glumi Vita Corleonea u Kumu, kako bi se posvetio slikarstvu i farmi u Stanfordu, New York. Njegove uloge u Ragtimeu i Terrible Joe Moranu, TV-filmu iz 1984., dizajnirane su kako bi pomogle njegovom ozdravljenju.

Bio je jedan od osnivača Udruženja filmskih glumaca i njegov predsednik od 1942. do 1944.

James Cagney umro je u okrugu Dutchess, na farmi u Clinton Cornersu, New York, sa 86 godina, od srčanog udara, uzrokovanog dijabetesom. Sahranjen je na groblju Gate of Heaven u Hawthorneu, New York.