โบราณสถานถ้ำพระ ตั้งอยู่ที่ หมู่ 5 บ้นป่าอ้อ ตำบลแม่ยาว ห่างจากตัวเมืองเชียงรายประมาณ 6 กิโลเมตร มีลักษณะเป็นภูเขาหิน มีความสูงประมาณ 800 เมตร ตั้งอยู่ริมแม่น้ำกกตรงข้ามกับหาดเชียงราย การเดินทางนั้นสามารถเดินทางได้ทั้งทางบกและทางเรือ บริเวณภายในถ้ำเป็นที่ประดิษฐานของพระพุทธรูปหลายองค์ นอกจากนี้ภายในถ้ำยังประกอบไปด้วยหินงอกหินย้อย และยังเป็นที่อยู่อาศัยของฝูงค้างคาว ภายในภูเขาหินลูกเดียวกันกับโบราณสถานถ้ำพระแห่งนี้ยังมีถ้ำอีกจำนวน 3 ถ้ำ ได้แก่ ถ้ำช้างล้วง ถ้ำลม และถ้ำหวาย ซึ่งนักท่องเที่ยวสามารถเข้าชมได้แต่ควรเตรียมอุปกรณ์ของใช้ที่จำเป็น เช่นไฟฉาย เทียนไข ไฟแช็ค น้ำดื่ม หรือ อุปกรณ์ที่จำเป็นอื่นๆให้พร้อม และนอกจากนี้ ทุกปีๆในช่วงเดือนพฤษภาคม ในวันแรม 8 ค่ำ เดือน 6 ทางโบราณสถานแห่งนี้ ได้กำหนดจัดงานประเพณีสำคัญคือประเพณีสรงน้ำถ้ำพระ ซึ่ง มีพุทธศาสนิกชนจำนวนมากมาร่วมงานประเพณีดังกล่าว
ถ้ำช้างล้วง อยู่ทางทิศใต้ของภูเขา ห่างจากถ้ำพระประมาณ 150 เมตร ภายในถ้ำจะเป็นลานโล่ง มีแสงสว่างเล็กน้อย มีลมพัดผ่าน อากาศข้างในเย็นสบาย เวลาเข้าเที่ยวในถ้ำต้องใช้เทียนหรือไฟฉายเพิ่มแสงสว่าง
ถ้ำลม อยู่ห่างจากถ้ำช้างล้วงประมาณ 50 เมตร ซึ่งเป็นถ้ำที่ไม่ลึกมาก มีแสงสว่างพอมองเห็นภายในถ้ำได้และมีลมพัดแรงออกจากถ้ำตลอดเวลา
ถ้ำหวาย อยู่ห่างจากถ้ำลมประมาณ 100 เมตร ตัวถ้ำลึกประมาณ 100 เมตร ทางเดินเป็นอุโมงค์แคบ ๆบริเวณภายในเป็นห้องโถงโล่งๆ ประกอบด้วยหินงอก หินย้อย เมื่อโดนแสงไฟฉายจะส่องประกายระยิบระยับ ถ้ำแห่งนี้เหมาะสำหรับนักท่องเที่ยวที่ชอบความตื่นเต้นผจญภัย นอกจากนี้โบราณสถานถ้ำพระยังเป็นแหล่ง ประวัติศาสตร์ที่พระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวฯรัชกาลที่ 7 เคยเสด็จประพาสเมื่อวันที่ 16 มกราคม พ.ศ. 2469 ซึ่งกรมศิลปากรได้ขึ้นทะเบียนไว้ให้เป็นแหล่งโบราณสถานที่สำคัญด้วย