Paşabağlarına 1km. uzaklıktaki Zelve, Aktepe'nin dik ve kuzey yamaçlarında kurulmuştur. Üç vadiden olaşan Zelve Ören Yeri, peribacalarının en yoğun olduğu yerdir. Vadideki peribacaları sivri uçlu ve geniş gövdelidir. Zelve 9. ve 13. yüzyılda hıristiyanların önemli yerleşim ve dini merkezlerinden biri olmuş; aynı zamanda rahiplere ilk dini seminerlerde bu yörede verilmiştir. Yamaçların dibinde yeralan 'Direkli Kilise' Zelve'deki manastır hayatının ilk yıllarına aittir. Kilise süslemelerinde tercih edilen kabartma haçlar daha çok ikonoklastik düşünce ile yakından ilgilidir. İkonoklastik Dönem öncesine tarihlenen Balıklı, Üzümlü ve Geyikli Kiliseler vadinin önemli kiliselerindendir. 1952 yılına kadar iskan edilmiş vadide manastır ve kiliselerden başka yerleşim yerleri, iki vadiye açılan tünel, değirmen, cami ve güvercinlikler bulunmaktadır. Üzümlü Kilise ve Balıklı Kilise Zelve'nin üçüncü vadisinde, bir manastıra ait doğal avlunun doğusundadır. Giriş kısmı yıkılmış olan Üzümlü ve Balıklı Kilise'nin giriş kapısının üstünde tahtta oturan ve kucağında çocuk İsa bulunan Meryem tasviri yer alır. Kısmen yıkık tonozda daire içinde malta haçı taşıyan Melek Michael ve Gabriel tasviri bulunur. Girişin hemen sağında hücre şeklindeki 'Güney Şapel'i tek nefli, apsisli ve beşik tonozlu olup kenarlarda oturmaya yarayan platform bulunur. Apsisinde kırmızı çerçeve içinde ayakta duran, bir elinde kitap, diğer eliyle takdis eden İsa; apsis cephesi ise içi noktalı basit üçgen ve daire dizileriyle, tonozu ise çizilerek yapılmış Malta Haçı ve konsantrik daire süslenmiştir. Şapel büyük olasılıkla 10. yüzyılda yapılmıştır. Dikdörtgen planlı yan yana iki bazilikadan güneydeki mekanın apsisinin ön yüzünde kırmızı boya ile yapılmış Malta Haçı'nın her iki tarafındaki balık tasvirlerinden dolayı 'Balıklı Kilise' olarak adlandırılmıştır. Burada ayrıca HC ve XC (Jesus Christ) yazıtları yer alır. Üç apsisli kilisenin ana apsisinde oyularak yapılmış haç, yanında banket zeminde ise bir mezar yer alır. Beyaz zeminli apsiste birkaç aziz tasviri kısmen korunmuştur. Tavanında ise kabartma haç, haç kollarında ise malta haçı bulunur. Duvarlardaki haç süslemeleri oldukça tahrip olmuştur. Kuzeydeki bazilika ise tek apsisli ve düz tavanlıdır. Apsisinde beyaz zemin üzerine stilize olarak yapılmış üzüm salkımı tasvirlerinden dolayı 'Üzümlü Kilise' olarak adlandırılmıştır. Kiliseler Erken Bizans Çağı'na aittir. Zelve'deki İkonoklastik Dönem sonrası dekore edilen tek kilisedir. Kaynaklara göre bu kilisede Kutsal Haç'ın bir parçası bulunmaktaydı. Paşabağları ve Aziz Simeon Hücresi Göreme-Avanos yolunun sağında, yoldan 1km. içeridedir. Eskiden 'Rahipler Vadisi' bugün 'Paşabağı' olarak adlandırılan bu alan, kendine özgü peribacalarıyla doludur. Çok gövdeli ve çok başlı olan bazı peribacalarının içlerine şapel ve oturma mekanları oyulmuştur. Üç başlı peribacalarının birinde Aziz Simeon adına yapılmış bir şapel ve inziva hücresi bulunmaktadır. Dar bir baca vasıtasıyla ulaşılabilen hücrenin girişini antitetik haçlar süslemektedir. İçinde ocak, oturma ve yatma mekanları ile ışık girmesini sağlayan pencere aralıkları mevcuttur . 5. yüzyılda Halep yakınlarında münzevi bir hayat sürdüren Aziz Simeon, mucizeler yarattığı söylentileri çıkınca, halkın aşırı ilgisinden kaçarak iki metre yüksekliğinde bir sütun üzerinde yaşamaya başlar. Daha sonra 15m. yüksekliğinde bir sütuna geçen Aziz Simeon, aşağıya sadece müritlerinin getirdiği az miktarda yiyecek ve içeceği almak için iner. Kapadokyalı münzeviler ise bir sütun yerine hazır buldukları peribacalarını oyarak dünyevi hayattan uzaklaşırlar. Peribacasını aşağıdan yukarı doğru oyarak 10-15m. yükseklikte kaya odalarda yaşar, kaya yataklarda yatarlar.