Kahramanmaraş'ın Tarlacık (eski ismi Berçenek) Köyü'nde dünyaya geldi. 1955 yılında daha sonra Ankara'ya nakledilen Mersin Astsubay Okulu'na kaydoldu. 1960'ta eşi Suna'yı kaçırdı ve 6 ay köyünde kaldı. Bu sırada okulu Balıkesir'e nakledildi. Okul komutanının çabası ile yeniden okula dönen Aşık Mahzuni, 6 ay devamsızlık yaptığına ilişkin bir ihbar üzerine okuldan atılınca yeniden köyüne döndü. 1964 yılında ilk plağı ile müzik piyasasına girdi.

Bir süre Gaziantep'te ikamet ettikten sonra Ankara'ya taşındı. 1989-1991 yılları arasında Halk Ozanları Derneği Genel Başkanlığı'ni yürüten Aşık Mahzuni Şerif, Pir Sultan Abdal Dernekleri Genel Merkez Disiplin Kurulu Başkanlığı, Hacı Bektaşi Veli Anadolu Kültür Vakfı Yönetim Kurulu Üyeliği ve Ozan-Der Onur Kurulu Başkanlığı'nı da yaptı.

2001'in başlarında rahatsızlanarak, kalp ve solunum yetmezliği nedeniyle, JFK Hospital'da yoğun bakım altına alındı. Mayıs ayında, günümüzün Pir Sultan'ı Aşık Mahzuni Şerif, bir kez daha ölümü yenmeyi başardı. Ve aynı yılın Kasım ayında kendisine, "Elhamdülüllah Kızılbaş'ım ve Laikim. Ben değil yedi sülalem kızılbaştır. Bir suç varsa o da dedemdedir!" dediği için, DGM tarafından dava açıldı. Duruşma 27 Aralık 2001 tarihinde DGM'de yapıldı. 2002 Mayıs ayının 17'sinde evli, sekiz çocuk, dört torun sahibi olan Mahsuni Şerif 62 yaşında Almanya'nın Köln şehrinde hayata gözlerini yumdu. Bu ana kadar O, devletin düzenini yıkmak suçundan, hala yargılanıyordu.Mezarı şu an son ikamatgâhı olan Hacı Bektaş Veli Külliyesi'nin yakınındaki Çilehane adı verilen bölgededir.

Türk halk müziği sanatçılarının başvuru kaynağı, söz ve beste deposu olan Aşık Mahzuni birçok dinleyecisi açısından günümüzün çağdaş Karacaoğlan'ıydı. Dom Dom Kurşunu (Araştırmacı Yazar Battal Pehlivan Aşık Mahzuni Şerif'i yaşamı ve sanatı üzerine yaptığı incelemenin adı da Dom Dom Kurşunu idi), Yuh Yuh, Fadimem, Gül yüzlüm, Ciğerparem ve Ekmek kölesi gibi eserleriyle tanınan Aşık Mahzuni'nin türkülerini İbrahim Tatlıses'ten Mahsun Kırmızıgül'e kadar birçok türkücü ile bazı pop müzik sanatçıları da okudu. Halk şiirine gönül veren ve konuşma dilini şiirleştiren Aşık Mahzuni'nin 400'e yakın plağı, 50 kasedi ve yayınlanmış 9 adet kitabı bulunuyor.