1835. június 26-án született Breznóbányán (ma Szlovákia) szepességi szász családban, eredeti neve Carl Otto Hermann volt. Hétéves korától kezdett magyarul tanulni, s aztán olyan erős magyartudata lett, hogy németes nevét megkurtítva egy n-nel írta. Orvos apját 1847-ben a Felvidékről áthelyezték Alsóhámorba, s fia a miskolci evangélikus főgimnáziumban folytatta tanulmányait. 18 évesen beiratkozott a bécsi politechnikumba, de azt apja korai halála miatt nem végezhette el. Géplakatosnak állt, hogy magát, édesanyját és testvéreit eltartsa. Bécsben munkája mellett autodidakta módon természettudományi tanulmányokat folytatott, rendszeresen bejárt a természetrajzi múzeumba. Ott figyeltek fel rajzkészségére, az egyik híres kutató vele készíttette el rovartani dolgozatainak ábráit.

Nem akart a császári hadsereg katonája lenni, az első sorozásra nem is ment el, de 1857-ben kényszerrel besorozták. A zólyomi kiképzés után egységével Dalmáciába vezényelték, ahol a tenger szerelmese lett. Szorgalmának köszönhetően - kis szerencsével - előbb leszerelhetett, de aztán önkéntesként harcolt: előbb az Itália függetlenségéért küzdő carbonarik mozgalmában, majd 1862-ben a lengyel felkelésben. Ott lőtték át kalapját, amit haláláig őrzött.

1863-tól Kőszegen fényképészként dolgozott. Megismerkedett Chernel Kálmán ügyvéddel, természetbúvárral, akinek ajánlásával 31 éves korában a Brassai Sámuel igazgatta kolozsvári Erdélyi Múzeum Egylet preparátora lett. Ekkor jelentek meg első írásai, Kolozsváron állandó anyagi gondjai miatt színikritikákat írt a helyi lapba. A nagy szerelem is utolérte Jászai Mari színésznő személyében, kinek a kezét is megkérte.

1874-ben Budapestre költözött, a Magyar Nemzeti Múzeum természettudományi tárának őrsegédje (kezdő muzeológusa) lett. 1877-ben elindította és tíz évig szerkesztette a tár folyóiratát, a Természetrajzi Füzeteket. A Természettudományi Társulat megbízására elkészítette Magyarország pókfaunáját feltáró háromkötetes könyvét, amelyben 314 pókfajtát (köztük 36 újat) írt le. Munkáját a külföldi szakirodalom is alapműként értékelte. Felhívta a figyelmet a filoxéra veszélyére, s felismerte, hogy az homokon nem pusztít, ezért propagálta a homoki szőlőtermesztést. Nagy része volt az Állatvédő Egyesület 1883-as megalapításában.

Politikai mozgalmakba is bekapcsolódott. 1871-ben állást foglalt a Párizsi Kommün mellett. A Függetlenségi és 48-as Párt tagjaként kapcsolatban állt Kossuth Lajossal, akit Torinóban többször felkeresett. 1879-ben Szeged, majd később Miskolc országgyűlési képviselőjévé választották. Ritka becsületes politikusnak tartották, aki se pártkasszából, se máshonnan nem fogadott el pénzt. 1885-ben feleségül vette a nála húsz évvel fiatalabb Borosnyay Kamilla írónőt.

Herman Ottó alapította meg Magyarországon a tudományos madártant. A madárvonulás megfigyelésére országos hálózatot szervezett, és 1891-ben megrendezte Budapesten az ornitológusok II. nemzetközi kongresszusát, amelynek nyomán a Magyar Nemzeti Múzeum égisze alatt 1893-ban létrehozta a Magyar Ornitológiai Központot (a későbbi Madártani Intézetet). Haláláig ő igazgatta az intézményt. Az általa megindított Aquila című folyóirat a hazai madártani kutatások központi orgánuma lett. 1900-ban ő kezdeményezte - amerikai mintára - a madarak és fák napjának megünneplését. 1901-ben jelent meg legnépszerűbb, világsikert aratott, A madarak hasznáról és káráról című könyve.

A millenniumi kiállítás halászati és pásztorkodási részlegének rendezőjeként is tevékenykedett, gyűjtötte a magyar ősfoglalkozások (halászat, pásztorkodás) népi szokásait és tárgyi emlékeit. Megírta A magyar halászat könyvét, elkészítette a magyar állattartás történeti összefoglalóját és szakszótárát, elindította a magyarországi ősrégészeti kutatásokat. Munkásságát eredeti szempontú, gazdag ismeretanyag, lenyűgöző előadásmód jellemezte, nagy szerepe volt a korabeli tudományos eredmények népszerűsítésében. Támogatta Miskolc és Borsod Vármegye Múzeumának megalapítását, a létesítmény 1953 óta az ő nevét viseli. Alapító tagja, 1892-től elnöke volt a Magyar Néprajzi Társaságnak, 1900-ban megkapta a francia Becsületrend lovagkeresztjét.

Hetvenöt éves korában a József körút és a Baross utca kereszteződésében a szinte már alig halló, gondolataiba feledkező tudóst elütötte egy villamos. Akkori sérüléseiből még felépült, ám amikor 1914 decemberében egy szekér gázolta el, a lábadozás során kapott tüdőgyulladásba belehalt. A főpolgármester által felajánlott díszsírhelyen temették el a Kerepesi úti temetőben. 1965-ben hamvait - végakaratának megfelelően - Miskolcon, a felsőhámori temetőben helyezték végső nyugalomra.

A Miskolchoz tartozó Alsóhámoron egykori nyaralója (a Pele-ház) ma emlékházként működik. Szobra a lillafüredi Palotaszálló alatti függőkertben látható. 2014-ben a Nemzeti Környezetügyi Intézet országos Herman Ottó-emlékévet szervezett a tudós és munkássága tiszteletére. Halálának 100. évfordulója alkalmából Miskolc város közgyűlése 2014-ben posztumusz díszpolgári címet adományozott a neves természettudós számára.