วัดศรีสวาย ตั้งอยู่ภายในอุทยานประวัติศาสตร์สุโขทัย ทางด้านตอนใต้ของวัดมหาธาตุ อยู่ห่างออกไปประมาณ 350 เมตร เป็นโบราณสถานสำคัญที่ตั้งอยู่ในกำแพงแก้ว โบราณสถานสำคัญ ประกอบไปด้วย พระปรางค์ 3 องค์ ที่มีรูปแบบศิลปะลพบุรี ซึ่งได้รับอิทธิพลมาจากศิลปะขอม ได้สร้างขึ้นในสมัยพุทธศตวรรษที่ 18 เดิมทีเป็นเทวสถานในศาสนาพราหมณ์หรือฮินดู โดยมีพระปรางค์สามยอดเป็นประธาน
ลักษณะของพระปรางค์ค่อนข้างเพรียว ตั้งอยู่บนฐานที่ไม่สูงมากนัก ลวดลายปูนปั้นบางส่วน เหมือนลายบนเครื่องถ้วยจีน ในสมัยราชวงศ์หยวน นอกจากนั้นยังพบทับหลังสลักเป็นรูปนารายณ์บรรทมสินธุ์ ชิ้นส่วนของเทวรูปและศิวลึงค์ ที่แสดงให้เห็นว่า เคยเป็นเทวสถานในศาสนาฮินดูมาก่อน แล้วภายหลังได้ดัดแปลงเป็นวัดในพุทธศาสนา โดยการต่อเติมวิหารขึ้นที่บริเวณด้านหน้า
วัดศรีสวายด้านหน้ามีวิหาร 2 หลังที่สร้างเชื่อมต่อกัน โดยมีระเบียงคดล้อมองค์พระปรางค์ และพระวิหารเอาไว้ ส่วนด้านหลังโบราณสถานมีสระน้ำ เรียกกันว่า สระลอยบาป ใช้เป็นสถานที่ทำพิธีลอยบาป หรือล้างบาปตามความเชื่อลัทธิพราหมณ์ ส่วนภายนอกสุดของวัดศรีสวาย ได้ถูกล้อมรอบด้วยกำแพงศิลาแลงค่ะ