Çeşmenin yapılışına dair çeşitli söylenceler vardır. Bunlardan en çok itibar göreni; İstanbul Kuşatması esnasında başgösteren su sıkıntısının, uçuşan kazların takip edilmesiyle, onların konduğu yerin kazılması sonucu çıkan su kaynağı için yapıldığıdır. Kazlı Çeşme adının da buradan geldiğine inanılır.
Kazlıçeşme’de üç yüz altmış tane tabakhane ve otuz üç salhane inşa ettirmiştir. İstanbul’un fethinden sonraki zamana denk düşen Rumeli seferlerinde, sefere giderken ordunun ihtiyaç duyduğu deri üretiminin burada gerçekleştirildiği de kayıtlarda mevcuttur. Bunun yanı sıra Kazlıçeşme’de mumhanelerin ve kirişhanelerin de bulunduğu biliniyor. Kazlıçeşme’deki deri fabrikaları, 1993 senesinde tamamıyla yıktırılmış ve bölgede bir düzenlemeye gidilmiştir. Yıkım sonrasında bölgede kalan en önemli tarihsel yapı da Kazlı Çeşme olmuştur. Burası hakkındaki söylence her ne kadar fetih zamanına denk düşüyorsa da, bir çeşme yapılma fikrinin fetihten çok sonraya tekabül ettiği bilinir. Hatta çeşmenin üzerinde yer alan kitabede, çeşmenin Hicrî 953 / Miladî 1537 senesinde Mehmed isimli bir kişi tarafından yaptırıldığı görülmektedir. Yapısı çok sade olan çeşmenin her iki yanındaki yük koyma taşları günümüze değin gelmiştir. Üstünde büyük bir kaz kabartması bulunmaktadır. Suyu kesintisiz akmıştır ve hala da akmaya devam etmektedir. Semtin çevresinden de söz edecek olursak, Kazlıçeşme Mezarlığı’nın karşısında Abay Caddesi üzerinde bir ayazma bulunur. Ayazmaya Ayia Paraskevi ismi verilmiştir. Buranın suyu hakkında suyunun özellikle göz hastalarına ve felçlilere iyi geldiğine dair söylenceler vardır. Abay Caddesi, Yedikule’yi Kazlıçeşme’ye bağlar. Bu cadde üzerinde Yedişehitler Mezarlığı yer almaktadır. Bu mezarlıkta fetih sırasında şehit olan yedi askerin naaşı bulunur. II. Mehmed’in sakabaşısı olan Ali Baba’nın türbesi, semtteki başka bir tarihi yapıdır. Ali baba’nın, fetih süresince askerlere kendi yaptığı deri kırbasıyla su taşıdığı söylenir. Asker su içtikçe bu suyun bitmemesinden dolayı da Ali Baba’ya “Derya” mahlası verilir.
Zeytinburnu sınırları içerisinde yer alan diğer tarihi çeşmeler ve yapıldıkları yıllar şöyledir:
- Nafiz Efendi Sebili-1848
- Kapıcı İsmail Ağa Çeşmesi-1903
- Hacıbayram Can Çeşmesi-1548
- Merkez Efendi Çeşmesi-1811
- Takyeci Çeşmesi-1578
- Ali Bey Çeşmesi-1706
- Emine Sultan Meydan Çeşmesi-1715
- Sadrazam Ali Paşa Çeşmesi-1719
- Hüseyin Bey Çeşmesi-1850
- Merzifonlu Kara Mustafa Paşa Çeşmesi-Bilinmiyor
“Kültür Vadisi Projesi”nin güney sınırında bulunan Kazlıçeşme'nin restorasyon projesi koruma kurulunun onayına sunulmuş, onayı alındığında uygulamaya geçilecek şekilde hazırlanmıştır.