จากหลักฐานทางพงศาวดารเมืองสงขลาระบุว่า พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช รัชกาลที่ 1 ขณะนั้นไทยยังคงมีการสู้รบกับพม่า จนเกิดสงครามเก้าทัพทำให้กองทัพพม่าบุกเมืองภูเก็ต กองทัพเมืองสงขลาจึงได้ ยกพลเดินทางไปช่วย ภายหลังเสร็จศึกเจ้าเมืองสงขลาได้สร้างอุโบสถวัดยางทอง จึงสันนิษฐานว่าวัดแห่งนี้น่าจะมีอยู่ก่อนกรุงรัตนโกสินทร์ ปัจจุบันได้รับการบูรณะซ่อมแซมอุโบสถให้มีความสวยงาม และพระประธานอายุกว่า 200 ปี อีกทั้งยังมีเสนาสนะเก่าแก่อย่าง กุฏิที่สร้างขึ้นเมื่่อ พ.ศ. 2500 นอกจากนี้ ภายในวัดมีบรรยากาศที่สงบร่มรื่น มีต้นมะขามขนาดใหญ่ หรือปู่มะขาม พื้นที่บริเวณวัดหากขุดดินลิงไปจะเจอก้อนอิฐในสมัยต่างๆ ทับถมอยู่หนาแน่น