Memang, sangat sulit untuk bisa terbebas dan melarikan diri dari tempat pengasingan ini. Namun, berkat kecerdikannya, dengan sebuah perahu nelayan seadanya, Hadiwardoyo berhasil kabur.
Ia melarikan diri tak tentu arah. Terombang-ambing di laut lepas tanpa tujuan sampai akhirnya terdampar. Keajaiban bisa mengarungi lautan luas sampai ke Australia dengan bekal makan seadanya yang didapat sejak dari Boven Digoel.
"Lama, berminggu-minggu, sampai berbulan-bulan, ia bisa sampai ke Australia," terusnya. Saat terdampar di Australia, Hadiwardoyo ditawan oleh pemerintah setempat di sana.
Ia diberi hidangan oleh orang-orang Eropa yang berkoloni di sana. "Eyang buyut (Hadiwardoyo) diuji orang Eropa pakai hidangan dinner, apakah beliau dari kalangan bangsawan atau orang biasa," terus Rudy.
Hadiwardoyo yang memiliki istri seorang Belanda, terbiasa dengan hidangan rijsttafel. Dengan cara makan bangsawan, orang-orang Eropa dibuat segan. Mereka menyadari bahwa Hadiwardoyo bukan orang sembarangan, ia seorang aristokrat Jawa.
Dengan rasa hormatnya, orang-orang Eropa itu membawa Hadiwardoyo kembali ke Jawa. Ia lantas bersembunyi dari pengawasan pemerintah Kolonial Belanda tatkala sampai di Madiun kembali pada 1942.
Tak lama berselang, Jepang yang menduduki Jawa telah menghapuskan Hadiwardoyo dari rekam jejak buruk pemerintah kolonial Belanda. Ia lantas aktif dalam Partai Murba sejak 1948.