บนยอดเขาสูงของเกาะยอเป็นที่ประดิษฐานของเจดีย์โบราณเก่าแก่ที่ ชาวบ้านเรียกกันว่า เขากุฏิ เจดีย์ทรงกลมหรือทรงระฆัง ขนาดเส้นผ่าศูนย์กลาง 10 เมตร มีทางขึ้นสู่ลานทักษิณ 3 ด้าน ยกเว้นทางทิศตะวันออก ของเจดีย์ องค์เจดีย์ประกอบด้วยส่วนฐานรองรับองค์ระฆัง 2 ชั้น ส่วนฐาน และ ชั้นมีซุ้มจรนำทั้ง 4 ทิศ ประดิษฐานพระพุทธรูปทั้ง 4 ด้าน และมีชื่อสลักติดอยู่ บริเวณฐานของแต่ละองค์ซึ่งหมายถึงสมเด็จทั้ง 4 องค์ คือ สมเด็จเจ้าเกาะยอ สมเด็จเจ้าพะโคะ สมเด็จเจ้าเกาะใหญ่ และสมเด็จเจ้าจอมทอง ทุกปีจะจัด ประเพณีแห่ผ้าขึ้น เขากุฏิเพื่อห่มองค์พระเจดีย์ และห่ม พระพุทธรูป สมเด็จเจ้า เกาะยอบนยอดเขากุฏิ ประเพณีที่ชาวเกาะยอได้ถือปฏิบัติมา เป็นเวลาช้านาน  โดยปฏิบัติติดต่อกัน 2 วัน คือ วันขึ้น 14 ค่ำ เดือน 6 ของทุกปีเป็นวันห่มผ้า พระเจดีย์ และสมเด็จเจ้าเกาะยอ และวันขึ้น 15 ค่ำ เดือน 6 อันเป็น วันวิสาขบูชา นอกจากนี้ด้านบนยังมีวิหารหลวงพ่อทวด เนื่องจากตามตำนาน ของชาวเกาะยอระบุว่าหลวงพ่อทวด ซึ่งเป็นสหธรรมิกของสมเด็จเจ้าเกาะยอ ได้เดินทางมาเยือน ณ สำนักสงฆ์เขากุฏิแห่งนี้เมื่อครั้งอดีต อีกทั้งสร้างขึ้น เพื่อให้ ประชาชนที่ศรัทธาได้มากราบไหว้ขอพรเพื่อเสริมความเป็นสิริมงคลแก่ชีวิต