Masih mengutip Taylor, van Braam juga diterima masuk ke dalam lingkaran pergaulan Thomas Stamford Raffles saat Inggris menginvasi Jawa pada 1811. Untuk menyenangkan Raffles, ia sering mengadakan pesta bagi tamu-tamu Inggris di kediamannya yang belakangan dijuluki Paleis Rijswijk (Istana Rijswijk).
Pada awal abad ke-19, Nusantara dikepung banyak kekuatan asing. Setelah Belanda tersungkur akibat kebangkrutan kongsi dagang VOC pada 1799, Prancis mulai menancapkan pengaruhnya dengan mengutus si tangan besi Daendels untuk memerintah Hindia Belanda.
Berdasarkan ringkasan sejarah singkat Kota Jakarta yang dirangkum Bappeda, ketika van Overstraten belum sempat menyelesaikan pembangunan markas besarnya, dua belas batalion Prancis tiba di Pulau Jawa. Mereka kemudian ditempatkan di tangsi-tangsi militer yang dibangun di sekitar Lapangan Banteng dan secara rutin melakukan latihan militer di Lapangan Kerbau (kini lapangan Monas).
Baca Juga:Tugu Monumen Nasional di Lahan Bekas KoningspleinBNPT Minta Maaf Salah Sebut Abdul Qadir Hasan Baraja Pendiri Ponpes Islam Al-Mukmin Ngruki
Daendels juga sudah mempersiapkan sebuah istana yang besar dan megah sebagai pusat pemerintahannya di Weltevreden. Setelah merobohkan Benteng Batavia, ia membangun sebuah bangunan megah di sekitar Lapangan Banteng. Namun, istana idamannya belum juga selesai ketika terjadi transisi kekuasaan kepada Inggris.
Kala Raffles dan pasukannya berhasil menduduki Batavia Baru pada 1811, ia menyita sebagian besar kediaman bekas pejabat VOC yang dekat dengan Daendels. Hanya kediaman van Braam yang ia dibiarkan. Sebagai tuan rumah, van Braam memang paling tekun menjamu tamu-tamu Inggris melalui serangkaian pesta di rumah mewahnya.
Berkat “kemurahan” hati van Braam, Raffles tampaknya jatuh hati pada Paleis Rijswijk. Buku Istana Presiden Indonesia (1975: hlm. 9) mengisahkan bahwa Raffles lebih suka menghabiskan malam di istana putih itu ketika singgah di Batavia. Setelah era Raffles, Paleis Rijswijk dikenal sebagai tempat bermalam favorit para Gubernur Jenderal untuk mengadakan rapat sehingga mendapat julukan Hotel Gubernur Jenderal.
Fungsi Paleis Rijswijk berubah menjadi pusat pemerintahan pada masa Gubernur Jenderal Van der Capellen. Ia menjadikan rumah van Braam itu sebagai kediaman sementara sekaligus kantor melalui sistem sewa. Sebelum mengakhiri masa jabatannya, Capellen malah berhasil meyakinkan van Braam untuk menjual rumahnya. Pada 1821, Paleis Rijswijk resmi menjadi kantor pemerintah kolonial Hindia Belanda.