历史上的御书房是皇帝读书藏书之所。“御书房”三字取自乾隆八玺之“御书房鉴藏宝”玺篆体真迹。“汇流澄鉴”四字匾额原为乾隆在四库全书存放地文渊阁的御笔亲书，意即汇集知识之源，洞悉古今之理。

史料反映，乾隆皇帝退位后并未实现真正的颐养，只是在斋建成后的几年的正月里偶尔来此小坐，并吟诗作句。乾隆之后，嘉庆、道光、光绪等皇帝也有在倦勤斋活动的遗迹，并以此作为书房。斋内的内装修及其布局没有大的变动，基本保持了乾隆时期的原貌，仅根据皇帝各自生活习惯的不同略有改变。