พิพิธภัณฑ์เจ้าพระยายมราช ก่อตั้งขึ้นเมื่อปี พ.ศ. 2542 เพื่อรวบรวมโบราณวัตถุ ศิลปวัตถุ ข้าวของเครื่องใช้ ด้วยสำนึกในพระคุณของเจ้าพระยายมราชที่มีต่อโรงพยาบาลเจ้าพระยายมราช โดย​ใช้ตึกเหลือง​เป็นสถานที่​ใน​การจัดสร้างเป็นพิพิธภัณฑ์ถาวร ตัวอาคารมีคุณค่าทางประวัติศาสตร์​และ​โบราณคดี อีก​ทั้งเป็นสถานที่มี​ความ​เหมาะสมต่อ​การจัด​แสดงนิทรรศ​การ​​ ภายในแบ่งการจัดแสดงเป็น 3 ส่วน ดังนี้ ส่วนที่ 1 จัดแสดงเพื่อสักการะบูชา โกศ อัฐิบางส่วนของเจ้าพระยายมราช ภาพถ่ายครึ่งตัวเจ้าพระยายมราช (ปั้น สุขุม) และท่านผู้หญ