ภูเขากำปั่นและภูเขาวัดถ้ำเป็นภูเขาหินปูน มีถ้ำน้อยใหญ่อยู่เป็นจำนวนมาก มีตำนานเล่าสืบต่อกันมาว่า ภูเขากำปั่นเกิดจากเรือกำปั่นมาล่มจมอยู่กลางทะเล นานจนกระทั่งน้ำทะเลเหือดแห้งและนานจนกระทั่งเรือลำนั้นกลายเป็นภูเขา ห้องหับต่าง ๆ ก็กลายเป็นถ้ำเล็กถ้ำน้อย เช่น ถ้ำพระผีทำ ถ้ำคนโท ถ้ำม้า ถ้ามืด โดยเฉพาะภูเขาวัดถ้ำ มีถ้ำสำคัญคือถ้ำแจ้งหรือถ้ำพระนอนอันมีโบราณวัตถุจำนนวมาก รวมทั้งพระพุทธไสยาสน์ขนาดใหญ่ และถ้ำศิลปซึ่งมีภาพจิตรกรรมฝาผนังสมัยศรีวิชัย พระพุทธไสยาสน์และจิตรกรรมฝาผนังดังกล่าวนี้ กรมศิลปากรได้ประกาศขึ้นทะเบียนเป็นโบราณสถานและโบราณวัตถุโดยประกาศในราชกิจจานุเบกษา เล่มที่ ๕๒ ตอนที่ ๗๕ ลงวันที่ ๘ มีนาคม พ.ศ. ๒๔๗๘ 

นอกจากนี้ ณ ยังมีการขุดพบพระพิมพ์ดินดิบสมัยศรีวิชัยได้จากถ้ำที่ภูเขากำปั่น อันได้แก่ ถ้ำคนโท ถ้ำวัว ถ้ำกระดูก ถ้ำมืด และถ้ำพระผีทำ และถ้ำจากภูเขาพระนอน อันได้แก่ ถ้ำเสือ และถ้ำศิลป์ ชาวบ้านหน้าถ้ำ ชาวท่าสาปและตำบลใกล้เคียงเรียกพระพิมพ์ดินดิบนี้ว่า พระผีทำ มีตำนานเล่าว่า ที่ถ้ำแห่งหนึ่งในภูเขากำปั่น มีคนนุ่งขาวห่มขาวและผมสีขาวปั้นพระวางเรียงรายไว้ในถ้ำ เมื่อชาวบ้านเดินผ่านเข้าไปไม่กล้าเหยียบ ก็กวาดเอาพระพิมพ์ดินดิบไปกองไว้ข้างผนังถ้ำ ครั้นกลับออกมา ก็พบพระพิมพ์ดินดิบยังเปียกชื้นวางเรียงรายอยู่เต็มทางเดินอีกเหมือนกับเพิ่งทำขึ้นมาใหม่ ๆ จึงเรียกพระพิมพ์ดินดิบว่า พระผีทำ และเรียกถ้ำนี้ว่า ถ้ำพระผีทำ (ผศ.วิจิตร ศรีสุวิทธานนท์. 2531: 37)