ここは元和８年（1622年）の酒井氏入国当時から藩の御用屋敷だった土地で、慶安年間（1648〜1651年）には、３代酒井忠勝の次男忠俊の住居がありました。現存する建物は、文久３年（1863年）に11代藩主酒井忠発（さかい・ただあき）が隠居所として建てられたもので、玄関と奥の座敷が残っています。
履き物を脱いで中に入ると、鶴ヶ岡城のジオラマが展示されており、昔の城下の様子がとてもよくわかります。このほか酒井家ゆかりの鎧、兜、調度品の数々をはじめ、奥の座敷に続く長い廊下には庄内竿などが展示されています。
奥の座敷（関雎堂）は、「能」を演ずることができるように、きれいな床板が張られ、床下には音響をよくするために大きな甕が並び据えられていたといいます。ここから眺める庭園はとても美しく大名屋敷の広壮な面影を偲ぶことができます。
また、座敷より続く茶室は、庄内藩中老・菅臥牛の遺愛の庵で、昭和26年に移築され「三餘室（さんよしつ）」と命名されました。三餘とは中国の古語で「雨は時の余り、夜は昼の余り、冬は歳の余り。」からとったもの。映画「蝉しぐれ」のロケもこの茶室で行われました。名勝酒井氏庭園を眺めながらお抹茶を一服どうぞ。