Balıklı, imparatorların bilhassa ilkbaharda istirahata gittikleri bir mesire yeri olmasının yanı sıra, ayazma da sağlık merkezi olarak kullanılmıştır.
Ayazma, 5. yüzyılın ortalarında, yanında bulunan Panagia Pege / Balıklı Kilisesi gibi İmparator I. Leon döneminde (457-474) yapılmıştır. Şehrin dışında yer alan bu bölge, kilise ve ayazma yapıldıktan sonra önem kazanmıştır. Ayazma inşa edildikten sonra çeşitli dönemlerde defalarca onarılmış ve yenilenmiştir.
İlk yenilenme çalışması, İmparator I. Iustinianos (527-565) döneminde olmuştur. İmparator 560 yılında, bir derdine derman olduğuna inandığı bu ayazmayı Ayasofya'dan arta kalan mimari malzeme ile yenilettiği gibi bir de şapel eklemiştir.
İstanbul'un Türkler'in eline geçmesinden sonra ayazma ve yanındaki yapılar uzun bir süre bakımsız kalmıştır. 1727'de Derkos Metropoliti Nikodimos, kendi alanı içinde kalan ayazma, kilise ve şapelin onarılması için III. Ahmed'den izin almış ve sonra da topladığı bağışlarla burayı onarmıştır. 18. yüzyıldan sonra havuzundaki balıklardan dolayı Müslümanlar burayı "Balıklı Ayazma" olarak isimlendirmiş ve o günden günümüze dek gerçek adı unutularak bu isimle anılmıştır.
Ayazma'daki son onarım 1955'teki depremden sonra 1960 yılında yapılmıştır. Zeytinburnu'nda ayrıca Demirhane Caddesi üzerinde, Kazlıçeşme Şehitliği'nin karşısında Ayia Paraskevi Ayazma'sı da bulunmaktadır.
“Kültür Vadisi Projesi” kapsamında Balıklı Meryem Ana Ayazması ve Kilisesi, Balıklı Ayazma Meydanı ve Fırını bir bütün olarak ele alınmıştır. Meydanı ortaya çıkarmak için köhne mermer atölyeleri kaldırılmıştır. Eski fırın binası restore edilerek bugün Manastır Kafe olarak hizmet vermektedir. Ayazma'nın çevresi de Zeytinburnu Belediyesi tarafından yeniden düzenlenerek sosyal bir alana dönüştürülmüştür.