Studoval na Chicagské univerzitě (1948-49), ale největší význam pro jeho tvorbu bylo studium na Black Mountain College (1950-53), kde působili básníci Charles OLSON, Robert CREELEY a Robert DUNCAN. Od Olsona převzal otevřenou formu projektivního verše, který však podřizuje spíše dechu než metru či pravidelnému rytmu strofy. Používáním prostého, nekomplikovaného jazyka se jeho poezie hlásí k dědictví Williama C. WILLIAMSE. Svou poezii publikoval v nákladech několika kusů až stovek výtisků nebo v podobě volných listů. Knihy si sám tisknul i vázal, častý byl výtvarný doprovod významných umělců – např. jeho první sbírku The Dancer (1951) ilustroval Robert Rauschenberg.

Průřez jeho poezií podávají sbírky In Time: Poems 1962-1968 (1969), Just Friends / Friends and Lovers: Poems 1959-1962 (1980), New Spaces: Poems 1975-1983 (1985), Names & Local Habitations: Selected Earlier Poems 1951-1972 (1988) a The Collected Later Poems (ed. Robert J. Bertholf, 1997), shrnující básně z let 1975-94 plus 49 dosud nepublikovaných básní.

Pracoval jako tiskař a typograf, produkční manažer u tiskařské firmy (1964-66), byl prvním ředitelem Poetry Project v kostele sv. Marka na newyorské Bowery (1966-68), působil na City College of the City Univerzity of New York jako sídelní básník (1969-82), od r. 1982 působil jako profesor v oboru komunikace a sídelní spisovatel na New England College v Hennikeru, New Hampshire. Přispíval do mnoha časopisů, především do The Village Voice (1969-84) svými sloupky na nejrůznější umělecká, společenská a politická témata. Výbor z jeho článků je obsažen v Drawing from Life: A Selection of Joel Oppenheimer’s Writings from The Village Voice (ed. Robert J. Bertholf and David Landrey, 1998).