世昌著述甚多，有《退耕堂政書》五十五卷，《大清畿輔先哲傳》四十卷，《歸云樓題畫詩》二卷，《東三省政略》十二卷，《明清八家文鈔》等。除詩文集、題跋外，大部系其部屬捉刀代筆，據(jù)說只有《明清八家文鈔》為桐城吳北江代為評選，較其他捉刀者為精審。

世昌退居津門后，其文士光華得以充分展現(xiàn)。其老成穩(wěn)重，靜若處子，隱逸林間，呼朋引類，酬答唱和，與林琴南、嚴范孫、趙湘帆、華世奎等名士組成“晚清簃詩社”，詩、書、畫三位一體，故而頗不寂寞。又名其居所為“退耕堂”，以示將陶淵明為楷模而仿效之意。此間書畫作品中亦多流露出此等心態(tài)。如為嚴范孫（清末翰林，著名教育家，南開大學創(chuàng)始人）所題詩有云：“詩壇酒壘厭江湖，眼底縱橫見此圖；花月多情如夢幻，川原有恨入榛蕪；客來關輔三霄路，臣本煙波一創(chuàng)徒。”表現(xiàn)出高士飄然山林，深知宦途如夢的隱逸心態(tài)，高華磊落，舒卷自如，頗有“超凡入圣”之格調(diào)。同行評價為“吟詠之功，度越前人”者也。

世昌以翰林出身，擅長書法，尤精行、草二體，宗法蘇軾，略變其體，名重一時，在津門各殿堂中，多可睹其墨跡。如天津老字號“正興德茶莊”、“成興茶莊”、“直隸書局”等匾額，均出自其手。在任大總統(tǒng)期間，常題字贈與國會議員。世昌書法，確有功力。已達到布局嚴謹，上下顧盼，左右相映，氣血相連，墨蘊飽滿，活靈活現(xiàn)，揮灑自如，清靈飄逸之境界。頗具俊秀之氣，給人以一種書法藝術的美感。1919—1926年間，世昌陸續(xù)將其書法作品匯集成《水竹邨（村）人臨帖》共三冊、《石門山臨圖帖》一冊，刊印發(fā)行。其中對聯(lián)為大宗，余為條幅、冊頁之類。