läheisen Buckinghamin palatsin ja Kensingtonin palatsin kanssa St. Jamesin palatsi eksyy usein keskelle Lontoon muita kuuluisia kuninkaallisia maamerkkejä. Mutta usko tai älä, St. Jamesin palatsi on ollut keskeinen paikka monille tärkeille tapahtumille Lontoon historiassa, puhumattakaan siitä, että se on Britannian vanhin kuninkaallinen palatsi.
palatsin rakennutti Henrik VIII vuosina 1531-1536, ja sen nimi on peräisin spitaalisesta sairaalasta, joka aikoinaan seisoi paikallaan 1000-luvulla. Sen alkuperäinen Tudor-tyylinen punatiilinen rakennus ja sisustus on nähtävissä vielä nykyäänkin, mutta suuri osa palatsista tuhoutui tulipalossa vuonna 1809, minkä seurauksena suurin osa alkuperäisestä palatsista uudistettiin 1800-luvulla.
palatsi oli tarkoitettu Henrik VIII: n käyttämäksi asuinpaikaksi ”paetakseen muodollista hovielämää”, ja siitä voi edelleen nähdä nimikirjaimet ”H. A.”(Henrylle ja hänen toiselle vaimolleen Annelle) koristivat pari Tudor-takkaa valtion asunnoissa. Palatsin sisällä tapahtui kuitenkin myös monia surullisia tapahtumia, kuten kahden Henrik VIII: n lapsen kuolema, joista toinen oli hänen avioton poikansa Henry Fitzroy, joka asui palatsissa vuoteen 1536.
sekä Kaarle II että Jaakko II syntyivät ja kastettiin palatsissa, samoin Maria II, kuningatar Anne ja James Francis Edward Stuart. Maria I ja Elisabet I viettivät usein yön St. Jaakobin palatsissa, ja Kaarle I vietti viimeisen yönsä palatsissa ennen teloitustaan.
Kaarle II kunnosti palatsin samoihin aikoihin, kun hän suunnitteli läheistä St. Jamesin puistoa, ja tänä aikana siitä tuli hallitsijan pääasunto; (varsinkin Whitehallin palatsin tuhouduttua tulipalossa). St. Jamesin palatsi oli myös tärkeä paikka monille monarkkiin liittyville tapahtumille, kuten Victorian avioitumiselle ruhtinas Albertin kanssa vuonna 1840, ja heidän vanhin lapsensa (prinsessa Victoria) avioitui miehensä Preussin prinssi Fredrikin kanssa myös palatsin sisällä.
Kaarle I otti ehtoollisensa teloituksensa aamuna kuninkaallisessa kappelissa, ja Vilhelm ja Mary sekä Yrjö III ja kuningatar Charlotte, Victoria ja Albert sekä Yrjö V ja kuningatar Mary menivät kaikki naimisiin täällä. Eikä siinä kaikki, prinssi George (prinssi Williamin ja Kate Middletonin poika) kastettiin hiljattain täällä myös perheseremoniassa.
nykyään kuninkaallinen hovi toimii palatsin sisällä, ja Yorkin prinsessa Beatrice, Yorkin prinsessa Eugene ja prinsessa Alexandra kutsuvat St. Jamesin palatsia kodikseen. Palatsia käytetään myös virallisiin vastaanottoihin (kuten vieraileville valtionpäämiehille tai kuninkaallisiin liittyviin hyväntekeväisyysjärjestöihin).