Джон Джоузеф Никълсън е роден 22 април 1937 г. в Ню Джърси, САЩ. Майка му Джун Франсис Никълсън е била танцьорка, певица и водеща на сутрешното радиошоу Джун Франсис Никълсън. 

Като малък е отгледан от баба си Етел Мей Никълсън и дядо си Джон Джозеф Николсън. Дълго време Джак е смятал, че Етел и Джон са истинските му родители.  Едва когато навършва 37 години, той разбира, че негова майка е жената, която той е смятал за голямата си сестра.

Детството му минава в град Нептьюн, щата Ню Джърси. Още като ученик се изявява на сцената, където за пръв път играе в любителски мюзикъл. Освен това списва и училищния вестник.

На 18 години Никълсън взима решение да се посвети на актьорската професия. Той се премества в големия град и започва работа като момче за всичко в анимационен отдел на компанията MGM. През 1956 г. Джак участва в първия кастинг, но организаторите са шокирани от произношение му и той започва да посещават курсове по актьорско майсторство. Филмовият си дебют прави в нискобюджетния сериал „The Cry Baby Killer“, през 1958 г., изпълнявайки главната роля.

През 1967 г., Никълсън пише сценария за филма „The Trip“, в който участват Питър Фонда и Денис Хопър. Никълсън е съавтор с Боб Рафелсън, на филма „Head“ и отговаря за саундтрака на филма. Въпреки това, едва след като получава роля във „Волният ездач“, той прави първия си голям пробив в киното. Никълсън играе алкохолизирания адвокат Джордж Хансън, за което получава първата си номинация за „Оскар за най-добра поддържаща мъжка роля“.

Номинацията за най-добра мъжка роля идва на следващата година за участието му в „Пет леки пиеси“. И следват десетки роли, запомнящи се образи и безграйни номинации и награди. 

Ролята му в "Полен на кукувиче гнездо", която му носи Оскар, "Сиянието" на известния режисьор Стенли Кубрик, "Пощальонът звъни винаги два пъти", "Рагтайм", "Колкото-толкова" и много други, за които получава 12 номинации за Оскар и три път е държал статуетката си в ръце. 

Никълсън има 5 деца от 4 различни жени, но се е женил само веднъж за актрисата Сандра Найт. Преди време той обяви, че се оттегля от киното, но това още не е потвърдено напълно.