Namensgebend für die Anfang des 20. Jahrhunderts errichtete Siedlung ist der Brasselsberg, an dessen Fuße sie liegt. Der vom Bismarckturm gekrönte Berg ist Teil des südlichen Habichtswaldes. Zum Stadtteil Brasselsberg gehört nicht nur die eigentliche Siedlung, sondern auch ein großer Teil dieses Waldgebietes.

Neben der ganz von Natur umrahmten eigentlichen Siedlung Brasselsberg gehört der Bezirk „Dönche“ zum Stadtteil; dieser grenzt südlich an „Mulang“ und „Flüsseviertel“ des Stadtteils Bad Wilhelmshöhe an. Die sich zwischen den beiden Bezirken und östlich davon ausbreitende Dönchelandschaft, Landschaftsschutz- und in Teilen Naturschutzgebiet, ist dagegen keinem Ortsbezirk zugeordnet.

Brasselberg ist ein reines und bevorzugtes Wohngebiet mit guter Anbindung an die öffentlichen Verkehrsmittel. Der hohe Wohnwert der „Gartenstadt“ liegt wesentlich in der Nähe zur Natur begründet. Zudem ist Brasselsberg der Stadtteil Kassels mit der geringsten Bevölkerungdichte.