Fudbalski klub Olimpik iz Sarajeva postoji od oktobra 1993. godine, kada je i zvanično osnovan, a ime je dobio po XIV zimskim olimpijskim igrama koje su 1984. godine održane u Sarajevu.
Ramiz Krilašević, Šefkija i Edhem Okerić, Mustafa Ruvić, Suad Osmanagić,i Sakib Trtić, bili su ljudi koji su ustvari tada pokrenuli ovaj, danas trofejni, sarajevski klub.
Te 1993. godine, kada je u Bosni i Hercegovini uveliko trajalo ratno stanje, igrači Olimpika su odmah po osnivanju osvojili 1. Memorijalni malonogometni turnir “Asim Ferhatović Hase”, a iste godine odigrano je i Kantonalno takmičenje za popunu buduće najjače nogometne lige u Bosni i Hercegovini.
Ekipa Olimpika je u Kantonu Sarajevo tada osvojila prvo mjesto gdje je u osam utakmica imala gol razliku 28:1, a nakon toga odlaze na međukantonalno takmičenje u Tuzlu gdje se sastaje sa ekipama Sloboda iz Tuzle, Gradina iz Srebrenika, Turbina iz Jablanice, Natron iz Maglaja i Travnik, te na tom doigravanju zauzimaju drugo mjesto koje je garantovalo plasman u elitnu ligu koja je tek trebala da se formira pod okriljem N/FS BiH.
Stadion na kojem ovaj klub igra svoje domaće utakmice, stadion “Otoka”, izgrađen je 1993. godine, a u narednim godinama se nadograđivao za potrebe FK Olimpik, te je jedan od ciljeva gradnje stadiona bio i promocija sporta i nogometa, s obzirom da u to vrijeme, u naselju Otoka nije bilo sportskih klubova.
U sezoni 1995/96 igrali su u Prvoj ligi BiH, ali su ipak odmah i napustili prvi rang takmičenja, što se dešavalo i u narednim godinama, odnosno, Olimpik je tih godina često ulazio i ispadao iz društva najboljih klubova u BiH.
Najveći uspjeh Olimpika kao kluba koji postoji, sada već punih, dvadeset i šest godina, jeste osvajanje Kupa Bosne i Hercegovine u sezoni 2014/15, i plasman u pretkola Evropske lige, gdje su Sarajlije eliminisani od slovačkog tima Spartak iz Trnave.
Olimpik u sezoni 2016/17 ponovo ispada iz najjačeg ranga nogometnog takmičenja u BiH, te su od tada do danas član drugog ranga nogometnog takmičenja u BiH, član Prve lige FBiH.
