Maka, Osman Ghazi menikahi putri syekh bernama Rabia Bala Hatun. Mertua Osman sendiri yaitu Sheikh Edebali disebut-sebut sebagai keturunan Nabi Muhammad, adalah mufti pertama Kekaisaran Ottoman.
Setelah kematian Ertuğrul Ghazi pada tahun 1281, Osman Ghazi dibawa ke tampuk kekuasaan oleh kepala militer dan pemimpin serikat meskipun usianya masih muda. Karena itu, ia menjadi kepala beylik (kerajaan) kecil antara Söğüt dan Domaniç berkat moral, kekuatan, keberanian, dan pengetahuannya yang tinggi.
Sultan Seljuk mengukuhkan kerajaannya dengan mengirimkan sebuah firman (dekrit). Dia melanjutkan misi ayahnya dan bergaul dengan baik dengan tetangganya, penguasa dan gubernur Bizantium yang dikenal sebagai tekfur.
Suatu hari, Osman Ghazi mendengar tentang penyergapan yang dilakukan oleh tekfur Inegöl dan Karacahisar dari seorang mata-mata. Dia menerima pertempuran di Ermenibeli, dekat hari ini Inegöl di Turki barat laut, pada tahun 1284 tetapi Osman mundur ketika keponakannya terbunuh.
Semua pasukannya adalah infanteri, dan ini adalah operasi militer pertama Kekaisaran Ottoman. Tahun berikutnya, dia menaklukkan Kulacahisar, sebuah distrik dekat Ermenibeli, untuk membalas penyergapan dan mulai memperluas ke arah utara. Ini adalah penaklukan pertama dalam sejarah Ottoman.
Dia mengalahkan konspirasi Karacahisar dan Inegöl tekfurs melalui kemenangan dalam Pertempuran Ekizce pada tahun 1288. Saudaranya menjadi martir dalam pertempuran ini, yang membawa Eskişehir di bawah beylik.
Atas kemenangan ini, sultan Seljuk mengirimkan sebuah tuğ (tiang dengan rambut ekor kuda atau yak yang disusun berbentuk lingkaran yang berfungsi sebagai bendera Seljuk), sebuah tabl (bentuk gendang tradisional) dan sebuah firman (dekrit kekaisaran) sebagai simbol otonomi.
Setelah itu, Osman Ghazi memerintahkan band militer untuk bermain selama satu jam setiap hari pada sore hari, dan dia berdiri selama konser untuk menghormati sultan. Tradisi berdiri selama konser ini berlanjut hingga masa Sultan Mehmed II yang juga dikenal sebagai Mehmed Sang Penakluk.
Osman memperoleh kesuksesan besar pertamanya pada tahun 1302, melawan pasukan Bizantium yang dikirim untuk menghentikan ekspansinya. Osman memimpin pasukan 5.000 orang untuk menghadapi Bizantium di Dataran Bapheus di pinggiran Kekaisaran Bizantium.
Pasukan Bizantium kalah jumlah, dan mereka dipukuli habis-habisan. Ini menandai titik balik di Kekaisaran, ketika orang-orang Kristen mulai mundur dari Anatolia dan menetap di Barat, yang akhirnya membuka panggung untuk dominasi Utsmaniyah di wilayah tersebut.