La varsta de 17 ani a fost angajat de New York Daily Times ca ilustrator si creator de benzi desenate. A ramas in acest domeniu cinci ani, pana cand, in 1951 si-a facut debutul pe scena in "Detective Stories" la Peak Island Playhouse.
In 1955, Martin a dat o auditie pentru studioul lui Lee Strasberg. Din peste doua mii de participanti, numai el si Steve McQueen au fost acceptati.
A jucat initial in productii tv. In 1957 a debutat pe Broadway in piesa "Middle of the Night".
Tot in acel an s-a casatorit cu Barbara Bain, care i-a fost partenera pe ecran in filmul care l-au facut celebru: Mission Impossible. In 1969 cei doi au intrerupt colaborarea cu producatorii serialului din cauza unor neintelegeri financiare. Mission Impossible a continuat inca patru ani, cu alti actori.
Intre timp, Landau a aparut in They Call Me MISTER Tibbs!(1970), apoi intr-un serial tv. Avand nevoie de bani, el si sotia s-au mutat la Londra, acceptand rolurile din serialul SF Space: 1999 (1975). De atunci au urmat aparitii in roluri care nu au fost pe masura lui Landau.
Cariera sa a luat o panta ascendenta abia in 1983, cand a primit un rol in serialul difuzat pe NBC, Buffalo Bill. Cinci ani mai tarziu, Francis Coppola il distribuie in Tucker: The Man and His Dream(1988), pentru care a fost nominalizat la Oscar. In anul urmator primeste o alta nominalizare la Oscar, pentru rolul din filmul lui Woody Allen, Crimes and Misdemeanors(1989).
Pana in 2001, cand a excelat in Majestic, a mai jucat in Max and Helen(1990) si Ed Wood.(1994).
In 2004 este nominalizat pentru a patra oara la Emmy pentru rolul din Without a Trace(2002).