Những căn nhà nằm dọc phía sau tượng đài Thánh An-rê Dũng Lạc là khu trưng bày các Thánh tích. Được xây dựng với ba lối kiến trúc đặc trưng của ba miền Bắc Trung Nam, những căn nhà này trước đây là nhà của Đức Cha chính của giáo phận cũng như nơi ở của các cha làm việc tại Tòa Giám mục. Trong một thời gian khá dài trước đây, xã hội đã mượn các nhà này dùng làm các phòng cho học sinh trong khu vực của thị trấn Kiện Khê.
Hiện nay những tòa nhà này được dùng là nơi trưng bày các Thánh tích của các vị Tử Đạo, trong đó nổi bật nhất là dây trói Cha thánh Phê-rô Lê Tùy, những hũ thấm máu Cha Thánh An-rê Dũng Lạc, Cha Thánh Phê-rô Thi, một bộ gông cùm xiềng xích duy nhất còn khá nguyên vẹn, các thẻ lệnh án làm bằng gỗ, kẽm, nhôm và đồng, …
Tại đây cũng có hai tượng rất cổ xưa là tượng bà Thánh nữ Tử đạo An-nê Lê Thị Thành (bà Thánh Đê) được làm bằng đất nung và tượng Đức Mẹ bằng gỗ. Tượng Đức Mẹ cổ được tôn kính ngay từ khi thành lập Giáo Phận Tây Đàng Ngoài. Tượng được làm rất độc đáo: khung của tượng được làm bằng gỗ, một loại gỗ không mối mọt, áo của tượng được tạo bằng một loại vải đặc biệt với những đường nét và nếp gấp rất chân thực và sinh động.
BTT TTHH Sở Kiện
