Raffles dikenal sebagai sosok pemimpin Hinda-Belanda yang sangat mencintai bumi Nusantara. Ia sangat mengagumi alam dan budaya Jawa termasuk flora dan fauna di dalamnya. Kecintaannya kepada Pulau Jawa ini dituangkan dalam buku History of Java.
Jejak Raffles hingga saat ini masih tertinggal di Kebun Raya Bogor yang berwujud tugu. Bangunan tugu putih yang mirip gazebu melingkar dengan menggunakan atap beton dengan ukiran klasik eropa ini merupakan tugu yang didirikan untuk menjadi bukti cinta Raffles terhadap isterinya yaitu Lady Olivia Mariamne.
Lady Olivia Mariamne meninggal akibat penyakit malaria pada tanggal 26 November 1814. Istri dari Raffles ini sangat senang dan merasa nyaman berada di lingkungan asri Kebun Raya Bogor. Maka untuk mengenang istri yang begitu dicintainya, Raffles pun membangun sebuah tugu di tempat favorit mendiang sang istri.
Raffles membuat tugu ini dengan menuliskan puisi yang menunjukan sisi romantisnya dan kecintaannya pada Olivia.
Di bangunan tersebut terdapat puisi yang berbunyi: "Oh thou whom neer my constant heart, One moment hath forgot, Tho fate severe hath bid us part Yet still - forget me not" yang apabila diterjemahkan akan memiliki magna "kau yang tak pernah satu kalipun terlupakan oleh detak jantungku. Takdir keji telah memiskahkan kita. Namun, jangan pernah lupakan aku"
Walaupun Raffles menikah dengan seorang perempuan lain tiga tahun setelah Olivia meninggal, tugu ini tetap menjadi saksi cinta Raffles pada Olivia. Sesuai dengan keterangan yang ada di tugu, tugu tersebut sempat hancur akibat angin dan direkonstruksi kembali pada 1970.