Schwarzenberg bietet verschiedene Möglichkeiten der Freizeitgestaltung. So gibt es ein Freibad sowie ein Hallenbad mit Sauna im OT Bermsgrün. Das Gesundheitsbad „ACTINON“ in Schlema ist mit radon- und solehaltigen Therapiebecken ausgestattet. Im nahegelegenen Erlebnisbad „Badegärten Eibenstock“ kann man grenzenlosen Badespaß erleben.
Joe's Freizeithallen im Gewerbegebiet Neuwelt bieten Darts, Billards, Bowlingbahnen sowie ein Restaurant.
Das Kino bietet dem Zuschauer in 3 Sälen gute Unterhaltung.
Wer schon immer mal klöppeln lernen wollte, die Volkskunstschule bietet den Gästen Klöppelurlaub an.
Eine weitere Möglichkeit, sich aktiv zu betätigen, ist das Reiten. Beim Pferdesportverein Grünstädel kann man Reitunterricht nehmen.
Wer gern Minigolf oder Tennis spielt – auch hierfür stehen Anlagen zur Verfügung.
Im Winter werden Kutsch- und Schlittenfahrten angeboten. Es gibt einen Lift, und entlang der Wanderwege sind Skiwanderungen möglich.
In der Stadtinformation können Führungen gebucht werden. Während des reichlich 1-stündigen Rundganges durch die Schwarzenberger Altstadt werden viele Sehenswürdigkeiten vorgestellt.
Schwarzenberg verfügt über ein umfangreiches Netz an Wanderwegen. Rundtouren, Tages- und Halbtagestouren sowie geführte Wanderungen sind möglich.