Meskipun kedua pria itu seumuran, semua orang berasumsi bahwa Agripa akan hidup lebih lama dari kaisar saat ini. Augustus selalu sakit-sakitan, sedangkan Agripa memiliki tubuh yang kuat. Agripa sangat kompeten, sangat berpengalaman, dan dihormati secara luas.
Segalanya sekali lagi tampak baik-baik saja—sampai Agripa tiba-tiba meninggal pada tahun 12 SM. Namun, semuanya tidak hilang, karena persatuan Agripa dan Julia telah menghasilkan dua putra, Gayus dan Lucius.
Augustus sangat menyayangi cucu-cucu ini. Dia mendorong Senat untuk memberi mereka penghargaan luar biasa.
Anak laki-laki itu ditampilkan di koin, diberi jabatan militer dan politik yang penting. Gayus diangkat menjadi konsul, jabatan tertinggi dalam pemerintahan, pada usia 20 tahun.
Untuk memperjelas suksesi, Augustus mengadopsi Gayus dan Lucius sebagai miliknya. Meskipun dibesarkan dengan hak istimewa, kedua anak laki-laki itu tampak stabil dan menjanjikan.
Pada tahun 2 M, saat dalam perjalanan ke Spanyol untuk menambah pengalaman militer, Lucius jatuh sakit dan meninggal pada usia 19 tahun.
Masih ada saudara laki-lakinya, Gayus, yang telah bertugas di berbagai pos militer dan pemerintahan. Namun, hanya 18 bulan kemudian, Gayus terluka ringan dalam pertempuran kecil di Armenia.
Meski tidak serius, cederanya tidak sembuh dengan baik. Gayus jatuh sakit dan tak lama kemudian meninggal pada tahun 4 M pada usia 23 tahun.
Augustus harus memulai lagi dan memilih ahli waris lain. Sekarang ini adalah masalah yang mendesak karena Augustus sendiri berusia 66 tahun dan tidak pernah sehat.
Semua upaya Augustus untuk menemukan ahli waris sejauh ini berfokus pada keluarganya, keluarga Julian. Sekarang, dia kehabisan pria dekat Julians.
Satu-satunya laki-laki yang tersisa yang terhubung jauh dengan Augustus adalah anak tirinya dari Livia: Tiberius Claudius Nero.