Semasa Sinwar kuliah, banyak pemuda-pemuda Palestina di Jalur Gaza bergabung dengan organisasi yang mengombinasikan pemikiran Islam dengan nasionalisme Palestina. Bergabungnya Sinwar pada 1982 menyebabkan dia ditangkap meski tidak ada dakwaan formal.

Pada 1985, sebelum Hamas terbentuk, Yahya Sinwar membantu pengorganisasian al-Majd yang berarti kemuliaan dalam bahasa Arab. Nama al-Majd adalah akronim dari Munazzamat al-Jihaad wa al-Da'wah (Organisasi Jihad dan Dakwah).

Organisasi al-Majd ini bertugas mengungkap kaki tangan Israel dari kalangan bangsa Palestina sekaligus mengeksekusinya. Ketika Hamas dibentuk pada 1987, al-Majd dimasukkan dalam bagian kader keamanannya.

Pada 1988, Sinwar ditangkap oleh Israel selama beberapa minggu karena al-Majd diketahui memiliki senjata. Dalam perkembangan selanjutnya, Yahya Sinwar dihukum karena membunuh warga Palestina yang dituduh bekerja untuk Israel. Hukumannya penjara seumur hidup.

Selama menjalani masa hukuman, Sinwar memiliki pengaruh kuat terhadap sesama tahanan. Yahya Sinwar juga menghabiskan waktunya untuk mempelajari musuh-musuhnya di Israel. Dalam prosesnya, ia menjadi fasih berbahasa Ibrani.

Yahya Sinwar baru mendapatkan kebebasannya pada 2011. Bagaimana bisa bebas? Faktanya, pembebasan Sinwar terlaksana dengan sistem pertukaran tahanan tingkat tinggi. Dia ditukar dengan Gilad Shalit, seorang prajurit IDF (Israel Defence Forces) yang diculik pada 2006 oleh Hamas.

Usai beberapa kali gagal membuat kesepakatan, pada Oktober 2011, Mesir dan Jerman berhasil mencapai persetujuan pertukaran ini. Sekembalinya ke Jalur Gaza, tepatnya pada April 2012, Sinwar terpilih sebagai anggota politbiro Hamas.

Berbekal pengalamannya sebagai pemimpin penjara, Sinwar berhasil meraih reputasi di Hamas karena menyatukan faksi-faksinya. Ia juga diketahui menyerukan penangkapan warga Israel yang mendorong Amerika Serikat untuk menambahkan namanya dalam daftar teroris global pada 2015.