Český název i jeho německá podoba Schwarzwasser je stejně jako u některých dalších obcí v okolí odvozen od barvy vody či dna místního toku. Administrativní, sídlištní a katastrální členění této obce bylo dříve dost složité. Ještě po zrušení poddanství existovaly do roku 1869 dvě samostatné a správní obce, a to Černá Voda a Šropengrunt (německy Schroppengrund), což asi znamenalo dvůr či statek rodiny Schroppovy, ale je možný i jiný výklad. Šropengrunt se po roce 1869 stal jenom osadou a katastrální obcí Černé Vody a byl přejmenován v roce 1948 na Rokliny. K vlastní Černé Vodě patřila ještě jednak osada Nový Kaltenštejn (německy Neukaltenstein), jednak část Starého Kaltenštejna (Altkaltenstein) s bývalým hradem, kdežto druhá část této osady náležela k Vápenné (Zigharticím); obě poslední lokality byly v roce 1948 přejmenovány na Staré a Nové Podhradí.

Černá Voda i s osadami se nalézá na východním okraji Žulovské pahorkatiny a severozápadně od Sokolského hřbetu, který jako výběžek Rychlebských hor odděluje tuto oblast od údolí řeky Bělé a města Jeseníku. Celková rozloha katastrů Černé Vody a Roklin činila 1011 hektarů (v roce 1991 jen 996 ha); patří do něj také Velký rybník (10 ha). Vlastní Černá Voda leží ve střední nadmořské výšce 340 m východně od Žulové, při Černém potoce, a táhne se podél silnice, která směřuje na severovýchod do Roklin a dále přes Starou Červenou Vodu buď na sever k Vidnavě, nebo na východ k Velkým Kuněticím, tj. ke státním hranicím s Polskem. Nové i Staré Podhradí leží jižně od Černé Vody; jsou to vlastně jen skupinky domů a zřícenina hradu v předhůří Sokolského hřbetu.

Černá Voda patřila v moderní době k mimořádně velkým obcím vesnického typu na Jesenicku; počtem 2159 obyvatel a 346 domů v roce 1900 by ji bylo možno zařadit spíše k městečkům. Z celkového počtu připadalo 1355 obyvatel ve 213 domech na Černou Vodu, u Nového Kaltenštejna to bylo 316 osob a 50 domů, u Starého Kaltenštejna 285 osob a 45 domů a konečně u Šropengruntu 203 osoby a 38 domů. Protože obec byla až do konce druhé světové války německá (v roce 1930 se zde hlásilo jenom deset osob k Čechům), snížil se po novém osídlení do roku 1950 počet obyvatel na polovinu, na 1030 osob ve 421 domech. V roce 1991 zde bylo při sčítání registrováno jenom 647 osob a 191 trvale obydlených domů. Bývalé osady v této době ztratily svůj původní význam a nebyly považovány ani za relativně samostatné části obce.

Nejstarší historie Černé Vody je spojena s hradem Kaltenštejnem. Byla to rozsáhlá a mohutná stavba, která je prvně zmiňována roku 1284. Hrad se stal střediskem poměrně rozsáhlého panství vratislavských biskupů, k němuž původně patřila i města Vidnava, Javorník a Pačkov. Kaltenštejn však byl i s majetkem často zastavován, např. mocnému rodu Haugwitzů z Frýdberka. Rozsah dominia se stále zmenšoval a za válek v 15. století ztratil ve zpustošené krajině na významu i hrad, který byl nakonec v roce 1505 vratislavským biskupstvím vykoupen a jako nepotřebný zbořen; zanikly i hradní pivovar a mlýn a část stavebního materiálu prý byla využita při přestavbě hradu na Jánském Vrchu v Javorníku. V této souvislosti zaniklo v okolí i dříve zmiňované dolování stříbra.

Ves Černá Voda je sice prvně uváděna v knize fundací, která je řazena do období kolem roku 1284, ale v 15. století zpustla a byla znovu nově osazena roku 1579 jako součást biskupského panství Frýdberk. Brzy získalo ve vsi značný majetek i vliv zdejší fojtství, zvláště když se dostalo po roce 1617 do rukou rodu Mikuschů, povýšeného později do šlechtického stavu. V Černé Vodě si příslušníci tohoto rodu postavili vlastní sídlo a roku 1700 získali i statek v sousední Červené Vodě. Poslední majitel Černé Vody z tohoto rodu Arnošt Urban Mikusch začal na statku koncem 18. století jako první na Frývaldovsku pěstovat brambory a jetel.

Černá Voda se do té doby značně rozrostla. Již v 16. století je uváděna lokalita Kubengrunt (Kubův důl), kterou získali roku 1616 Mikuschové a v průběhu 17. století zde vznikla menší osada Šropengrunt. Osada Starý Kaltenštejn byla vysazena na biskupské půdě před rokem 1781 a osada Nový Kaltenštejn zase na pozemcích fojtství po roce 1802. Černovodský rytířský či fojtský statek změnil v té době majitele, když roku 1798 získal Černou i Červenou Vodu na krátkou dobu hrabě Konrad Sternberg, od roku 1802 inženýr J. Tschirsch a po něm až do roku 1850 J. Oehl s dcerou. V roce 1785 byla v Černé Vodě zřízena lokálie a v letech 1787 až 1788 postaven kostel Jména P. Marie, který se stal od roku 1843 farním; zároveň s kostelem byla vybudována i škola.

Do roku 1848, kdy byla Černá Voda i s osadami připojena k soudnímu okresu Vidnava a ke správnímu okresu Frývaldov, se ves i s osadami rozšířila do nebývalé velikosti. V roce 1836 bylo v Černé Vodě již 1248 lidí ve 180 domech, i když čtyři roky předtím si ještě mor vyžádal v této vsi 70 obětí. Byl zde menší zámek a dvůr. Obyvatelé se vedle zemědělství zabývali přadláctvím, pracovala zde pila a objevili se i první kameníci. Starý Kaltenštejn měl v uvedeném roce 45 domů a 279 obyvatel; v jeho okolí se lámal vápenec a pálilo vápno. Nový Kaltenštejn měl v téže době již 52 domů a 389 obyvatel. Konečně v Šropengruntu bylo tehdy 32 domů a 223 obyvatel. V této osadě byly umístěny také fojtské podniky: pivovar, pálenice a pila; jinak se lidé živili i zde zemědělstvím a přadláctvím, případně též háčkováním čepců.

Zcela nová situace nastala pro Černou Vodu v druhé polovině 19. století, zejména po roce 1870, kdy se tato obec stala jedním z prvních a nejvýznamnějších středisek dobývání i zpracování žuly a mramoru v Žulovské pahorkatině. Jeden z největších podniků zdejšího kamenického průmyslu představovala firma H. Kulka a spol., založená v roce 1876, a vedle ní pak firma G. Franke a bratři z roku 1908. Po nich se zde začaly již před první světovou válkou uplatňovat i mnohé další kamenické závody (v roce 1908 jich bylo 12), z nichž jenom některé měly sídlo přímo v Černé Vodě, jiné byly řízeny např. z Frýdberka, Supíkovic, Sandhýblu i Velkých Kunětic. Pro lepší odbyt a dopravu byla postavena v roce 1919 železniční vlečka z Frýdberku do Černé Vody.

Po roce 1918 se počet závodů kamenoprůmyslu ještě rozšířil a teprve hospodářská krize v třicátých letech tento vývoj zastavila. Mezi větší podniky se zařadily firmy R. Franke a synové a F. Henschel. Uplatnil se zde i český kapitál, napřed ing. J. Beneš, který získal židovský podnik H. Kulky, po něm J. Psota. Tyto podniky ale byly za války germanizovány pod názvem Frýdberská žulová a. s. Mezi zdejšími kameníky měla po roce 1918 napřed největší vliv německá sociální demokracie a později také komunisté, ale po hospodářské krizi a příchodu Hitlera k moci získala i zde nejvíce hlasů ve volbách roku 1935 Henleinova Sudetoněmecká strana.

Po roce 1945 se v Černé Vodě žulový i mramorový průmysl udržel, ale ve značně koncentrovanější podobě i v menším rozsahu, napřed pod národní správou, potom od roku 1947 pod národním podnikem Konstruktiva a nakonec po dalších organizačních změnách od roku 1966 pod národním podnikem Českomoravský průmysl kamene se sídlem v Hradci Králové. V posledním období ( 1991 ) se závod tohoto podniku v Jeseníku osamostatnil a v Černé Vodě převzal lom a dopravní středisko. Bývalé brusírny kamene v letech 1945 až 1952 zanikly. Vedle toho zde jen dočasně působil provoz MEZ Postřelmov. Statek někdejšího fojtství byl společně s Kobylou předán státním statkům, kam se v roce 1964 dostal i majetek JZD Černá Voda, takže od té doby zde hospodařil na zemědělské půdě jenom Státní statek Žulová. Lesy patřily pod lesní správu Lesního závodu v Javorníku. V roce 1990 byla v obci pošta, tři obchody, dvě pohostinství a jedno ubytovací a rekreační zařízení, úplná základní škola a dětský domov.