Serinhisar ve çevresi Oğuzlar'ın bir kolu olan Avşarlar tarafından kurulmuştur. Xlll.yy ikinci yarısında Karaağaç ovasında geçen İbn.Said buradaki Türkmenler'in "Uç" Türkmenleri olduğundan bahsetmektedir. Oğuzlar'ın Bozok boyuna mensup Türk oymaklarının yoğun olarak yaşadığı bir bölge olan Karaağaç ovasında, 1332'de geçen İbn Batuta burada ağaçların çok olduğunu ve buraya Karaağaç ovası denildiğini yazar. Önce "Kepez" sonra "Yerlikaya" denilen ilçe, 1302-1310 tarihlerinde yapılan ve son zamanlara kadar kalıntılarına rastlanan hisardan dolayı "Kızılhisar" diye adlandırılmıştır.

İlçe toprakları Denizli ilinin güney yönünde Akdeniz Bölgesine yakındır. Kuzeyinde Denizli, güney yönünde Acıpayam, batıda Tavas, doğuda Acıpayam'a bağlı Yeşilyuva kasabasıyla çevrilmiştir. Deniz seviyesi 900 m.den 2528 m.ye kadar değişmekte, göller yöresi iklimin hakim olduğu ilçe toprakları doğal orman alanıdır.

İlçe merkezinde urgancılık, leblebicilik, kerestecilik, zeytincilik, tütüncülük, turşuculuk yapılmaktadır. Ayrıca Yatağan kasabasında halk, bireysel olarak bıçakçılık, halıcılık, tütüncülükle uğraşmaktadır.Serinhisar ilçe merkezinde ekonomik yapıya hakim olan halkın geçim kaynaklarının başında tütüncülük, nakliyecilik, pazarcılık ve halı dokumacılığı gelmektedir.