İslami Cihat Örgütü, ilk olarak Mısır’ın Müslüman Kardeşler örgütü içerisinde filizlenmiştir. Önceleri Müslüman Kardeşler’in fikirlerinden etkilenen bazı Filistinliler, sonradan Müslüman Kardeşler’in Filistin davasına öncelik vermemesi üzerine Dr. Fethi Abdülaziz Şikaki ve Şeyh Abdülaziz Awda liderliğinde 1974 yılında Müslüman Kardeşler örgütünden ayrılmış ve işgal altındaki Filistin topraklarına dönerek kendi aralarında teşkilatlanmıştır. İran İslam Devrimi’nden ve Ayetullah Humeyni’nin fikirlerinden etkilenen bu grup, 1980’li yıllarda “İslâmın Öncüleri” adıyla Gazze’deki üniversitede ve camilerde eğitim ve teşkilatlanma çalışmaları ile silahlı faaliyetlerine başlamıştır. Örgüt, 1987 yılından itibaren “Filistin İslami Cihat” ismini kullanmaktadır.
İslami Cihat Örgütü, Filistin topraklarında İsrail’e yönelik eylemlerine 1984 yılında başlamıştır. Örgüt lideri Şikaki, Nisan 1988’de tutuklanarak Lübnan’a sürgün edilmiş ve örgütü Ekim 1995’e kadar Lübnan’dan yönetmiştir. Şikaki’nin Lübnan’da Hizbullah ve İran’la ilişki kurması neticesinde İran, İslami Cihat Örgütü’nün ana destekçisi haline gelmiştir. Bu sayede, Lübnan’daki mülteci kamplarında etkinliğini artıran İslami Cihat, Filistin-İsrail sorununda İran politikalarının sözcüsü durumuna gelmiştir.
Faaliyetlerine başladığı ilk dönemlerde El-Fetih ve Yaser Arafat ile yakın ilişkiler kuran ve ortak eylemlere imza atan Filistin İslami Cihat Örgütü, 1988 yılında Filistin Kurtuluş Örgütü’nün (FKÖ) Tunus’ta sürgün hükümetini ilan ederek İsrail’i tanıması üzerine bu işbirliğine son vermiştir.
İslamcı çevrelerde Hamas’ın baskın çıkması üzerine özellikle Birinci İntifada sırasında başlangıçta Hamas’ın yanında yer alan İslami Cihat Örgütü, daha sonraları bağımsız hareket etmeye başlamıştır. İslami Cihat, Hamas’tan farklı olarak sosyal projeler vb. çalışmalara yönelmediği için geniş bir taban kazanamamış ve silahlı eylemler dışında bir faaliyete girişmemiştir. Silahlı eylemlerde etkinlik sağlamasına rağmen Filistin halkı arasındaki desteği düşük olan İslami Cihat Örgütü, ateşkes anlaşmalarına ve seçimlere katılmamayı tercih etmektedir. Örgütün, özellikle Gazze Şeridindeki öğrenciler ve aydınlar arasında aktif bir durumda olduğu bilinmektedir. Beyrut, Şam, Tahran ve Hartum’da büroları bulunan örgütün toplam militan sayısının da 300-400 civarında olduğu tahmin edilmektedir.
İslami Cihat Örgütü’nün ideolojik düşünce kaynakları; Filistin milliyetçiliği, Müslüman Kardeşler Örgütü’nün öğretileri, Mısır’daki diğer İslamcı örgütlerin eylem tarzları ve İran İslam devriminin lideri Ayetullah Humeyni’nin fikirleridir. Örgütün kurucularından olan Şikaki, İslami ideolojide Filistin’e hak ettiği yeri veren ilk kişi olarak gördüğü Humeyni’ye özel bir önem ve saygı göstermektedir.
İslami Cihat, Hamas yönetimi ile genel olarak uyumlu bir ilişki sürdürmektedir. Ancak, söz konusu iki örgüt, İslamcıların desteğini kazanmak ve halka Filistinlilerin özlem ve beklentilerini gerçekleştirecek en doğru grup olduklarını göstermek için rekabet içerisindedir. Bununla birlikte, Filistin-İsrail sorununa ilişkin olarak İslami Cihat’ın Hamas’la ayrı düşmesi de söz konusu olmuştur. Bunun temel nedeni ise, Hamas’ın, oluşturacağı maddi yük nedeniyle İsrail ile çatışmayı sürdürmekten kaçınma politikası izlerken, İslami Cihat’ın Filistin haklarının ancak silahlı mücadeleyle tam olarak kazanılabileceği düşüncesine sahip olmasıdır.