FK Olimpik Sarajevo osnovan je oktobra 1993. godine u ratom zahvaćenom Sarajevu, a klub je osnovala grupa entuzijasta na čelu s Ramizom Krilaševićem, Šefkijom i Edhemom Okerićem, Suadom Osmanagićem, Sakibom Trtićem i Mustafom Ruvićem.
Iako tek osnovan, Olimpik je već u 1993. godini osvojio memorijalni turnir “Asim Ferhatović Hase” u futsalu i ušao u kantonalna takmičenja u nogometu, gdje su u osam utakmica postigli 28, a primili samo jedan gol, da bi se sljedeće godine, 1994. godine, plasirali među najbolje u regiji Tuzla, što im je donijelo mjesto u novoformiranoj Prvoj ligi BiH, odnosno, klub je bio učesnik prvog prvenstva BiH.
Nakon završetka rata, klub je iskusio turbulentan razvoj, odnosno sezona 1995/96. donijela je ispadanje iz najjačeg ranga nogometnog takmičenja u BiH, što je bio samo početak niza uspona i padova.
Ipak, tokom vremena, Olimpik je postao poznat kao kolektiv koji pruža priliku mladim igračima, i mnogi poznati igrači su svoje prve nogometme korake napravili upravo u ovom klubu – među njima i imena poput bivših “A” reprezentativaca BiH, Almedina Hote, Zajka Zebe, Muamera Jahića, Seada Bučana i Samira Muratovića.
Prvi period progresa kluba bio između 2000. godine 2002. godine, kada je Olimpik u ujedinjenoj Premijer ligi BiH, pod vodstvom Borisa Bračulja i Jusufa Čizmića, uspio pobijediti FK Sarajevo u posljednjem kolu i ostati u ligi, no ipak, već sljedeće sezone ponovno su ispali, a klub je počeo tonuti, kako organizacijski, tako i financijski.
Između 2002. godine i 2006. godine, Olimpik je doslovno bio na rubu gašenja, sveden na entuzijazam nekolicine ljudi i igrača koji su dolazili bez primanja, samo da bi kolektiv opstao, odnosno, bio je to drugi period pada u procesu rastu i razvoju kluba.
Drugi značajan uspon kluba dolazi 2006. godine, kada funkciju predsjednika preuzima Nijaz Gracić, bivši predsjednik FK Sarajevo i uspješan privrednik, a u tom trenutku, klub je bio bez stadiona, bez opreme i s nagomilanim dugovima – ali s jasnim ciljem – povratkom u Premijer ligu BiH.
Gracić je zajedno sa saradnicima počeo stabilizirati klub, rješavati dugove i formirati tim, a do kraja sezone 2007/08 Olimpik se plasirao u Prvu ligu FBiH, a sezonu kasnije, 2008/09 i u Premijer ligu BiH.
Olimpik je tokom narednih godina bio standardni član Premijer lige BiH, ali i imao nekoliko pokušaja da se plasira u evropska klupska takmičenja.
Najbliže plasmanu u evropska klupska takmičenja Olimpik je bio u sezonama 2010/11 i 2011/12, kada su završavali na petom mjestu Premijer lige BiH, svega nekoliko bodova udaljeni od četvrtog mjesta koje je vodilo na međunarodnu scenu, da bi u sezoni 2014/15 osvarili najveći uspjeh u klupskoj historiji, osvojili Kup BiH, i tako se plasirali u kvalifikacije za Europa ligu, gdje su u sezoni 2015/16 u prvom pretkolu eliminisani od slovačkog kluba Spartak iz Trnave, i to zbog pravila gola u gostima.
Od najvećeg klupskog uspjeha i osvajanja Kupa BiH 2015. godine, Olimpik je u narednim sezonama uglavnom igrao u Premijer ligi BiH, uz par ispadanja u niži rang takmičenja ali i ekspresnih povrataka u najviši rang nogometa u BiH, i tako do sezone 2020/21, kada su istupili iz Premijer lige BiH, te se zvanično ugasili, barem pod tim imenom.
Nakon trećeg pada, uslijedio je i treći period progresa, odnosno 2024. godine osnovan je OFK Olimpik Novi Grad, klub koji baštini tradiciju prethodnog FK Olimpik, te se klub od sezone 2024/25 takmiči u Kantonalnoj ligi Sarajevo, što je četvrrti rang nogometa u BiH.
Stadion “Otoka” u Sarajevu, na kojem su, pod imenom FK Olimpik, igrali domaće utakmice, godinama je bio predmet planova za modernizaciju, pa iako je velika rekonstrukcija najavljena još 2010. godine, do nje nikada nije u potpunosti došlo, da bi tek 2024. godine stadion bio u potpunosti renoviran zahvaljujući podršci Općine Novi Grad, a danas ga koristi novi klub OFK Olimpik Novi Grad.
Klupske boje Olimpika bile su, i ostale, tamnozelena, bijela i crvena, a dresovi su često varirali između osnovne kombinacije i zlatnih alternativnih garnitura, dok je grb kluba sadržavao, a i sada sadržava, bijele, zelene i crvene pruge, ime kluba, a kao FK Olimpik i nogometnu loptu kao i dvije siluete vukova – simbolično povezujući klub s “Vučkom”, maskotom Zimskih olimpijskih igara u Sarajevu 1984. godine, po kojoj je i dobio ime, dok danas ta dva detalja na klupskom grbu nema.
FK Olimpik Sarajevo/OFK Olimpik Novi Grad Sarajevo bio je i ostao važan dio sportske historije Sarajeva – klub koji je nastao usred rata, prošao kroz sve faze rasta i borbe, doživio strmoglave padove pa čak i formalno gašenje, osvojio nacionalni kup i izgradio identitet koji su godinama poštovali i prijatelji i rivali.
