遷喬館の創設者 児玉南柯は、岩槻藩の家臣であると共に儒学者でもありました。延享三年（一七四六）甲府で生まれ、一一歳の時に岩槻藩士児玉親繁の養子となりました。名は琮、字は玉卿、通称宗吾、「南柯」は儒者としての名前です。
　一六歳で藩主大岡忠喜の御中小姓となり、向井一郎太のもとで儒学を学び、明和八年（一七七〇）には昌平黌に入校しました。一八歳で江戸藩邸詰めになり、若殿忠要の素読の相手を勤め、郡奉行、御側用人などの藩の要職を歴任しました。岩槻藩領であった安房千倉（現在の千葉県房総市）に清国の船「元順号」が漂着したときには、その処理にあたり、後にこの事件を回想した『漂客紀事』という本を刊行しています。
　四三歳の時、部下の不正の責任をとり、職を辞職しましたが、その後は藩主の侍読などを勤め、自身の研究や藩士の教育へと力を注いでいきました。その中で寛政一一年（一七九九）に私塾として遷喬館を開設しました。遷喬館はその後、藩校となり、多くの藩士の子弟たちの教育が行われていきました。南柯は文政一三年（一八三〇）、病で亡くなり浄安寺に葬られました。
「児玉南柯自画像」は南柯筆の遷喬館扁額や短冊などとともに、昭和五三年三月、「児玉南柯遺品」として、旧岩槻市指定文化財となり、現在さいたま市指定文化財（歴史資料）として引き継がれています。自画像は、縦約二六・五㎝、横約二一・〇㎝の大きさで、和紙に琴の前に座る人物（南柯）が描かれています。
その人物の上には
「か支（き）なら須（す）
琴越（を）ことと裳（も）
おもはねと
汪（わ）がひが耳にき具（く）楚（そ）たのしき」
と歌がみられます。
これは、児玉南柯が八二才の時の自画像といわれています。南柯が文政一三年に亡くなられた時は、八五才であったとことから、亡くなる数年前の自画像ということになります。
なお、この自画像は、常時公開はしていませんが、複製を遷喬館及び、郷土資料館で展示しています。