Posisi kerajaan semakin melemah tatkala banyak kaisar yang naik takhta di usia kanak-kanak. Kemudian diatur oleh seorang wali (Sessho), biasanya seorang perwakilan dari keluarga Fujiwara, klan yang terkuat kala itu.
Banyak negarawan dari klan Fujiwara bertindak sebagai wali untuk tiga atau empat kaisar selama karir mereka.
Ketika kaisar mencapai usia dewasa, ia masih dinasihati oleh pejabat yang lain lagi, Kampaku. Untuk menjamin situasi ini berlangsung, kaisar-kaisar baru dinominasikan bukan berdasarkan kelahirannya tapi berdasarkan sponsornya.
Kemudian ia dipaksa untuk turun takhta ketika berusia tiga puluhan demi penerus yang lebih muda. Sebagai contoh, Fujiwara Yoshifusa mendudukkan cucunya yang berusia tujuh tahun di takhta pada tahun 858 dan menjadi walinya.
Ketika kaisar atau aristokrat memiliki terlalu banyak anak, anak-anak ini dihapus dari daftar warisan. Ada dua klan penting yang berkembang, klan Minamoto dan klan Taira.
Pasukan samurai pribadi menjadi instrumen penting di tangan anggota klan Fujiwara yang bersaing dalam perebutan kekuasaan internal yang akhirnya pecah di tahun 1156 dikenal sebagai Pemberontakan Hogen dan Pemberontakan Heiji di tahun 1160 Masehi.
Klan Taira yang dipimpin oleh Taira no Kiyomori menyapu bersih semua lawan dan mendominasi pemerintahan selama dua dekade.
Akan tetapi dalam Perang Genpei (1180-1185), klan Minamoto kembali memperoleh kemenangan dalam pertempuran Dannoura. Pemimpin klan Taira, Tomamori dan kaisar muda Antoku melakukan bunuh diri.
Tidak lama setelahnya, Yoritomo pemimpin klan Minamoto diberi gelar shogun oleh kaisar dan pemerintahannya mengawali Periode Kamakura (1185-1333). Saat itu pemerintahan keshogunan Kamakura didominasi oleh militer.
Penyebaran agama Buddha dibantu oleh sokongan pemerintah, meskipun kaisar mewaspadai kekuatan yang tidak semestinya di antara para pendeta Buddha. Akibatnya, kaisar mengangkat kepala biara dan mengurung para biksu di dalam biara mereka.
Sekte-sekte Buddhis menjadi entitas politik yang kuat dan meski para biksu dilarang membawa senjata dan membunuh. Mereka bisa membayar biksu-biksu muda dan tentara bayaran untuk melakukan pertarungan dalam rangka memenangkan kekuasaan klan-klan yang bertikai yang mengganggu politik Heian.
Prinsip-prinsip Konfusianisme dan Tao juga masih berpengaruh dalam administrasi yang tersentralisasi, serta kepercayaan Shinto dan animisme berlanjut seperti sebelumnya.