Kekhalifahan berpindah ke tangan Bani Utsman pada tahun 923 H, ketika Sultan Selim I dari Utsmaniyyah menaklukkan Mesir, sebagaimana akan diuraikan secara rinci dalam kitab ini.

Orang pertama yang memegang kekhalifahan setelah wafatnya Nabi Muhammad shallallahu alaihi wasallam pada 12 Rabi'ul Awal tahun 11 H adalah Abu Bakar ash-Shiddiq radhiyallahu anhu. Beliau dibai'at sebagai khalifah setelah sedikit perselisihan yang terjadi di antara para sahabat, dan wafat pada malam Senin, 22 Jumadil Akhir tahun 13 H, setelah mewasiatkan kekhalifahan sesudahnya kepada Umar bin Khattab radhiyallahu anhu.

Pada masa kekhalifahan Abu Bakar, muncullah Musailamah al-Kadzdzab yang mengaku menjadi nabi. Abu Bakar pun mengirim pasukan untuk memerangi dan membunuhnya. Demikian pula Sajah binti al-Harits yang juga mengaku sebagai nabi; ia tetap dalam kesesatannya hingga masa kekhalifahan Muawiyah bin Abi Sufyan, baru kemudian ia masuk Islam dengan sebaik-baiknya. Pada masa kekhalifahan Abu Bakar pula, kota Hirah ditaklukkan secara damai dengan membayar jizyah.

Umar bin Khattab adalah orang pertama yang disebut dengan gelar Amirul Mukminin, sedangkan Abu Bakar sebelumnya dipanggil dengan sebutan "Khalifah Rasulullah." Penaklukan-penaklukan Islam pada masa Umar meluas dengan sangat pesat, hingga pasukan-pasukan Islam mencapai wilayah Maghrib, perbatasan India di timur, dan wilayah Siberia di utara. Mesir, Syam, Irak, Iran, Bukhara, dan Marw berhasil ditaklukkan, serta kerajaan Persia pun lenyap dari percaturan politik setelah kekalahan Yazdegerd, raja terakhir dinasti Sassanid.

Pada masa kekhalifahan Sayyidina Umar radhiyallahu anhu, dibentuklah sistem diwan (administrasi negara), didirikan layanan pos untuk menyampaikan surat-menyurat dengan cepat, dan ditetapkan penanggalan Hijriyyah. Pada 24 Dzulhijjah tahun 23 H, beliau ditikam oleh Abu Lu'lu'ah dengan pisau pada saat shalat, dan wafat rahimahullah pada hari Sabtu, akhir Dzulhijjah tahun 23 H. Masa kekhalifahannya berlangsung selama 10 tahun, 6 bulan, dan 8 hari. Beliau dimakamkan di Hujrah Nabawiyyah yang mulia.

Setelah beliau, Utsman bin Affan radhiyallahu anhu dibai'at sebagai khalifah. Peristiwa-peristiwa terpenting pada masa kekhalifahannya adalah: penaklukan Afrika — yang mencakup Tunisia, Aljazair, dan Maroko — serta penyerbuan ke wilayah Andalusia dan pulau Siprus. Selain itu, dilakukan penggandaan mushaf Al-Qur'an yang sebelumnya telah dikumpulkan pada masa kekhalifahan Abu Bakar dan disimpan di rumah Sayyidah Hafshah, istri Nabi Muhammad shallallahu alaihi wasallam. Salinan-salinan mushaf tersebut dikirimkan ke seluruh penjuru negeri, sedangkan mushaf-mushaf lain yang berbeda dibakar. Dengan cara itulah Al-Qur'an terjaga dari perubahan dan pemalsuan hingga hari ini, dan akan terus demikian hingga akhir zaman.

Kemudian Utsman memecat sebagian besar gubernurnya dan mengangkat kerabat-kerabatnya sebagai penggantinya: ia mengangkat al-Walid bin Uqbah — saudaranya dari pihak ibu — sebagai gubernur Kufah; memecat Amr bin Ash dari Mesir dan menggantinya dengan Abdullah bin Abi Sarah al-Amiri — saudara sepersusuannya; serta memecat Abu Musa al-Asy'ari dari Bashrah dan menggantinya dengan sepupunya, Abdullah bin Amir. Kebijakan ini memicu kecaman dari banyak kalangan, dan berbondong-bondonglah utusan dari Mesir, Kufah, dan Irak menuju Madinah. Setelah serangkaian peristiwa yang terlalu panjang untuk diuraikan di sini, terjadilah fitnah yang berujung pada terbunuhnya Utsman di rumahnya sendiri pada malam 18 Dzulhijjah tahun 35 H. Masa kekhalifahannya berlangsung 12 tahun Hijriyyah kurang beberapa hari, dan beliau dimakamkan bersama Nabi Muhammad shallallahu alaihi wasallam dan Umar radhiyallahu anhu.

Setelah wafatnya Utsman, bai'at diberikan kepada Sayyidina Ali bin Abi Thalib karramallahu wajhah. Perpecahan dan pertentangan dalam Islam pun mulai terjadi. Sayyidah Aisyah binti Abu Bakar, istri Nabi Muhammad shallallahu alaihi wasallam, menuntut pembalasan atas darah Utsman, dan ia didukung oleh Thalhah dan Zubair bin Awwam. Mereka bersama pengikutnya bergerak menuju Bashrah untuk menguasainya. Ali pun menyusul mereka, dan terjadilah Perang Jamal yang terkenal pada pertengahan Jumadil Akhir tahun 36 H. Ali dan pasukannya menang; Thalhah terbunuh, sementara Zubair dan sisa pasukannya melarikan diri ke Madinah. Ali kemudian mengirim Sayyidah Aisyah kembali ke Madinah bersama saudaranya, Muhammad bin Abi Bakar. Dengan itu, fitnah di wilayah ini pun berakhir.

Ali lalu menghimpun pasukannya untuk memerangi Muawiyah bin Abi Sufyan, gubernur Syam, yang menolak berbai'at kepadanya dan menyerukan pembalasan atas darah Utsman. Terjadilah Perang Shiffin yang masyhur pada bulan Shafar tahun 37 H. Setelahnya, Ali dan Muawiyah sepakat untuk masing-masing menunjuk seorang juru runding yang akan menyelesaikan perselisihan. Perjanjian itu ditandatangani pada malam Rabu, 13 Shafar tahun 37 H, antara Abu Musa al-Asy'ari yang mewakili Ali karramallahu wajhah dan Amr bin Ash bin Wail yang mewakili Muawiyah. Mereka menunda keputusan hingga bulan Ramadhan tahun itu di tempat yang bernama Daumatul Jandal; jika tidak bertemu di sana, maka akan bertemu pada tahun berikutnya di Adzruh.

Abu Musa dan Amr bin Ash pun bertemu pada waktu yang telah disepakati, masing-masing ditemani empat orang sahabatnya. Mereka bersepakat untuk masing-masing memecat orang yang mereka wakili, lalu kaum Muslimin memilih sendiri siapa yang mereka anggap layak. Berdasarkan kesepakatan itu, Abu Musa berdiri di hadapan orang banyak dan berkata: "Aku telah memecat Ali dan Muawiyah, maka uruskan urusan kalian sendiri dan pilihkan atas kalian siapa yang kalian pandang layak." Kemudian Amr berdiri dan berkata: "Dia telah berkata seperti yang kalian dengar dan telah memecat orang yang diwakilinya. Sedangkan aku memecat orang yang diwakilinya sebagaimana ia memecat, dan aku menetapkan orang yang kuwakiliku, karena ia adalah wali Utsman dan penuntut darahnya, dan orang yang paling berhak atas kedudukannya." Abu Musa pun berkata: "Celakalah engkau, semoga Allah tidak memberimu taufik! Engkau telah berbuat khianat dan dosa!" Setelah itu, majelis bubar; Amr dan rombongannya kembali kepada Muawiyah dan membai'atnya sebagai khalifah. Sejak saat itulah, pengaruh Ali makin melemah dan kekuatan Muawiyah terus menguat.

Pada tahun 38 H, Muawiyah mengirim Amr bin Ash ke Mesir untuk memerangi Muhammad bin Abi Bakar — yang diangkat oleh Sayyidina Ali karramallahu wajhah — dan merebut Mesir darinya. Amr pun datang ke sana dan membunuh Muhammad bin Sayyidina Abu Bakar radhiyallahu anhu — saudara kandung Sayyidah Aisyah, istri Nabi Muhammad shallallahu alaihi wasallam — dan Mesir pun menjadi bagian wilayah Muawiyah. Muawiyah lalu mengirim pasukan-pasukannya ke wilayah-wilayah yang berada di bawah kekuasaan Ali untuk memaksa penduduknya berbai'at kepada Muawiyah. Keadaan itu terus berlangsung hingga tahun 40 H.

Pada tahun 40 H, tiga orang dari kelompok Khawarij — yaitu Abdurrahman bin Muljam al-Muradi, Amr bin Bakr at-Tamimi, dan al-Barak bin Abdullah at-Tamimi — bersepakat untuk membunuh Muawiyah, Ali, dan Amr bin Ash sekaligus, dan mereka berjanji akan melakukannya pada malam 17 Ramadhan tahun tersebut. Masing-masing pun berangkat ke tempat tujuannya: Ibnu Muljam berangkat ke Kufah untuk membunuh Ali, bersama Wardan bin Taim ar-Rabbab dan Syabib bin Asyja'; al-Barak berangkat ke Damaskus untuk membunuh Muawiyah; dan Amr bin Bakr berangkat ke Mesir untuk membunuh Amr bin Ash.

Pada hari yang telah disepakati, Ibnu Muljam dan kawan-kawannya menyerang Sayyidina Ali ketika beliau keluar untuk shalat Subuh pada Shubuh malam Jumat, 17 Ramadhan tahun 40 H. Syabib menyabetnya namun tidak kena, kemudian Ibnu Muljam menebasnya dan mengenai dahinya. Beliau wafat tak berapa lama kemudian. Ibnu Muljam berhasil ditangkap, sementara dua orang lainnya melarikan diri.

Adapun Amr bin Bakr, ia mengintai Amr bin Ash namun Amr bin Ash tidak keluar untuk shalat, dan memerintahkan Kharijah bin Abi Habibah, kepala pengawalnya, untuk mengimami shalat. Amr bin Bakr pun menyerang dan membunuhnya, mengira bahwa ia adalah Amr bin Ash. Demikian pula, al-Barak bin Abdullah tidak berhasil membunuh Muawiyah; ia hanya melukai Muawiyah dengan luka yang tidak berbahaya. Ketiga orang Khawarij itu kemudian semuanya dihukum mati.

Terdapat perbedaan pendapat mengenai tempat dimakamkannya Ali karramallahu wajhah, namun yang paling disepakati — sebagaimana disebutkan oleh Ibnu al-Atsir dan Abu al-Fida' — adalah bahwa beliau dimakamkan di Najaf, Irak. Inilah pendapat yang paling kuat.