อาคารพิพิธภัณฑ์มหาราชานุสรณ์ ร.4 คือพิพิธภัณฑ์ที่สร้างขึ้นเพื่อเป็นอนุสรณ์ว่า พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 4 พระองค์เคยเสด็จมาประทับที่วัดนี้ในครั้งที่ทรงผนวชเป็นเวลาถึง 10 ปี แต่เดิมวัดแห่งนี้ชื่อวัดสมอราย ต่อมาหลังจากเสด็จมาประทับจึงเปลี่ยนชื่อวัดเป็นวัดราชาธิวาส วัดนี้สันนิษฐานว่าสร้างสมัยกรุงละโว้ หรือก่อนกรุงศรีอยุธยาเป็นราชธานี ประมาณปี พ.ศ.1820 สิ่งของจัดแสดงอยู่ชั้น 2 เป็นสิ่งของเครื่องใช้ของพระสงฆ์ ส่วนใหญ่ท่านเจ้าอาวาสได้รับพระราชทานมา ห้องจัดแสดงมี 5 ห้อง ได้แก่ ห้องผ้