Art de Séjour is gelegen aan de Porte Saint-Jacques, de zuidwestelijke hoek van de eerste muren van Brussel die in het begin van de 13de eeuw werden opgetrokken.
De stad groeit snel en in 1356 wordt begonnen met de bouw van de tweede stadsmuur van Brussel.
De eerste muren werden in de opeenvolgende eeuw ontmanteld.
Van de eerste muren zijn er vandaag nog maar enkele over. Zo is er bijvoorbeeld de Ronde van de Hoek, die op 450 meter van Art de Séjour ligt.
De Zenne doorkruist het centrum van Brussel.
In de 19e eeuw werd de Zenne overdekt en werden er boulevards op gebouwd.
Als je oude kaarten bekijkt, zie je dat de Zenne twee kleine eilandjes vormde.
Een groot eiland in St-Gery en een klein eiland waar Art de Séjour vandaag de dag staat (zie gele ster).