Fujiwara tidak selalu mendapatkan apa yang mereka inginkan, karena beberapa kali kaisar melawan, terutama Kaisar Shirakawa (memerintah 1073-1087 M) yang berusaha untuk menegaskan kebebasannya dengan turun tahta pada 1087 M.
Ia kemudian membiarkan putranya Horikawa memerintah di bawah pengawasannya. Shirakawa kemudian memerintah di belakang layar selama lebih dari tiga dekade.
Kaisar, sejak saat itu, juga menciptakan birokrasi kekuasaan mereka sendiri (In-no-Cho) yang mirip dengan klan Fujiwara.
In-no-Cho berurusan dengan pajak dan hak tanah yang berkaitan dengan tahta, dan beberapa pejabatnya bahkan bekerja di birokrasi pemerintah juga.
Strategi kaisar 'pensiunan' ini, pada dasarnya, masih memerintah dikenal sebagai 'pemerintahan tertutup' (insei) karena kaisar biasanya tetap berada di balik pintu tertutup di sebuah biara.
Strategi 'pemerintahan tertutup', selain menghindari upacara-upacara tidak penting yang melekat pada takhta, juga memungkinkan kaisar melepaskan diri dari intrik politik ibu kota.
Kaisar juga dapat memiliki kebebasan untuk mengelilingi dirinya dengan penasihatnya sendiri dan bukan dengan orang-orang yang dikendalikan oleh Fujiwara.
Salah satu konsekuensi dari pemberian hak tanah oleh kaisar adalah bahwa orang yang menerimanya adalah para anggota istana dan sering kali tidak pernah meninggalkan ibu kota.
Mendelegasikan pengelolaan perkebunan mereka kepada deputi lokal, hal ini mengakibatkan peningkatan kemandirian daerah dari pemerintah pusat, yang pada akhirnya menyebabkan panglima perang mengeksploitasi ketiadaan kendali dan merampas pendapatan pajak negara yang berharga.
Klan Fujiwara juga tidak pergi, dan mereka pada akhirnya akan digantikan oleh klan serupa yang diciptakan melalui proses pergantian dinasti (ketika seorang kaisar atau bangsawan memiliki terlalu banyak anak, mereka dikeluarkan dari garis warisan).
Dengan demikian, dua kelompok penting berkembang, klan Minamoto (alias Genji) dan Taira (alias Heike), yang masing-masing meneruskan kebijakan untuk menjauhkan kaisar dari pengambilan keputusan nyata dalam pemerintahan.
Hasil dari birokrasi yang membingungkan dan pemerintahan yang sangat terpusat ini adalah kedatangan para shogun, diktator militer yang akan merebut kekuasaan politik untuk diri mereka sendiri pada periode abad pertengahan Jepang.