Osip Mandeljštam je rođen 1891. godine u Varšavi. Otac mu je bio potomak španskih Jevreja. Bio je trgovac koji je sebe smatrao filozofom, a u stvari neuspešan na oba polja. Osip je bio najstariji od trojice sinova. Majka im je bila talentovana za muziku. Godinu dana posle Osipovog rođenja porodica se preselila u Pavlovsk, gradić blizu Peterburga. Nešto kasnije prešli su u sâm Peterburg. Tu se Osip upisao u prestižnu Teniševsku školu. Stekao je odlično obrazovanje, zavoleo muziku, poeziju i pozorište. Upravo u toj školi napisao je i prve pesme. Posle završene škole, 1907, otputovao je u Pariz i stupio na Sorbonu. Otkrio je da postoje pesnici
kao što su Bodler, Verlen i Vijon. Bio je očaran njihovim delom. Upoznao je Gumiljova, ruskog pesnika koji će imati silan uticaj na njega. Brzo su postali bliski prijatelji. Atmosfera u Parizu bila je idealna za Mandeljštamovo stvaralaštvo. Napisao je mnoge pesme, oprobao se u
prozi. Mnogo je putovao. Posetio je Italiju, Švajcarsku, Nemačku i druge evropske zemlje. Nastavio je obrazovanje na Hajdelberškom univerzitetu. Po dolasku u Peterburg odlučio je da ceo svoj život posveti književnosti.
Iako su mu prve pesme objavljene još 1907. u časopisu Teniševske škole „Probuđena misao”, 1910. godina se smatra godinom njegovog stvarnog debija na književnoj sceni. Pet pesama te godine objavio je u književnom časopisu „Apolon” i bio lepo prihvaćen od kritike. Godine 1911. krstio se u crkvi po metodističkom obredu i upisao se na Filološki fakultet. Proučavao je kulturu Asirije, Egipta i drevnog Vavilona i strastveno se bavio književnim radom. Upoznao je Ahmatovu i Ivanova, s kojima je delio iste književne poglede i ukuse. Mnogo vremena provodio je s Gumiljovim, najboljim drugom još iz Pariza. Omiljeno mesto bio im je kafe „Pas
lutalica”, gde su se često okupljali pesnici i slikari. Tu su čitane pesme, pokazivani koncepti i planovi. Bio je to nezvanični centar vaskolikog kulturnog života Peterburga u prve dve dekade 20. veka. Godine 1913. Osip je već bio veoma popularan. Pridružio se pesnicima koji su smatrali da su materijalnost, preciznost reči i slika najvažniji elementi poezije. Bio je jedan od onih koji su se svrstavali u akmeiste, školu suprotstavljenu simbolizmu. Sama reč akme shva tana je kao najviši stepen nečega, rascvetana snaga u zenitu. Bio je sledbenik Verlena i Sologuba. Veoma je po štovao Tjutčeva. U debitantskoj knjizi Кamen tvrdio je da u temeljima novog književnog pravca leži „ta janstveni kamen Tjutčeva”, čiju ulogu je preuzela reč. Neki kritičari smatraju da je upravo taj zbornik najveće dostignuće akmeista. Posle 1913. godine Mandeljštam opet mnogo putuje.
Boravio je u Moskvi, Peterburgu, na Кrimu, u Tiflisu. Savremenici su ga nazvali Putnik. Nije imao svoj dom, već je živeo kod drugova, po jeftinim hotelima ili u iznajmljenim stanovima. Godine 1916. upo znao je Cvetajevu. Postali su veliki prijatelji, a to prija teljstvo odrazilo se u nekoliko pesama koje su jedno drugom po svetili. Posle Oktobarske revolucije 1917, Osip je neko vreme radio pri vojsci. Aktivno je pisao pesme, pa je 1922. godine objavio novi zbornik Tristia. Pokazao se i kao talentovan književni kritičar, napisao je članak O poeziji, u kom analizira rad pesnika prve dve dekade dvadesetog veka. Pisao je poeziju i priče za decu, a odlično poznavanje engleskog, francuskog i nemačkog jezika omogućilo mu je da aktivno čita i prevodi strane pesnike. U Кijevu, 1919. godine, Mandeljštam sreće Nadeždu Hazinu. Ona će postati njegova muza i životni saputnik. Leto i jesen 1921. godine provode u Gruziji. Tamo su čuli za smrt velikog pesnika A. Bloka i za pogubljenje N. Gumiljova. Užasni događaji uveli su Mandeljštama u duboku de presiju. To je prekretnica u njegovoj stvaralačkoj karijeri – počela je evolucija od racionalnog prema iracionalnom, prema tragičnoj poeziji i složenim, zaumnim asocijacijama. U tom periodu sve ređe piše poeziju. Potpun prekid i okretanje prevodima i prozi donele su godine 1926–1929. Po rečima N. Mandeljštam, tom prozom on „dopunjuje i osvetljava svoju poeziju”. U periodu 1930–1934. boravio je u Jermeniji. Postepeno se vraćao poeziji. Taj su period obeležile takozvane moskovske pesme.
Godine 1933. Osip Mandeljštam je napisao pesmu u kojoj je izvrgao ruglu sovjetski režim i samog Staljina. Već sledeće godine je uhapšen i poslat u progonstvo. Već se bio pomirio sa smrtnom kaznom. Napisao je i nekoliko pesama u iščekivanju smrti. Кažu da je blaga kazna izazvala kod njega neku vrstu šoka i čak uticala na dalje stvaralaštvo. Oda posvećena Staljinu to potvrđuje. Bile su to poslednje godine u njegovom stvaralaštvu (1934–
1937), poznate kao voronješki period. U voronješkom progonstvu proveo je tri godine. Bile su to godine iz nenadnog i neobičnog stvaralačkog uzleta.
Posle povratka iz progonstva, Mandeljštamu i njegovoj ženi bilo je zabranjeno da žive u Moskvi i Lenjingradu. Boravili su po predgrađima. Maja 1938. godine ponovo ga hapse zbog „kontrarevolucionarnog delovanja”. Deportovan je na Кolimu, u Sibir. Umro je u tranzitnom
logoru pod Vladivostokom 27. decembra 1938. godine.