世昌著述甚多，有《退耕堂政书》五十五卷，《大清畿辅先哲传》四十卷，《归云楼题画诗》二卷，《东三省政略》十二卷，《明清八家文钞》等。除诗文集、题跋外，大部系其部属捉刀代笔，据说只有《明清八家文钞》为桐城吴北江代为评选，较其他捉刀者为精审。

世昌退居津门后，其文士光华得以充分展现。其老成稳重，静若处子，隐逸林间，呼朋引类，酬答唱和，与林琴南、严范孙、赵湘帆、华世奎等名士组成“晚清簃诗社”，诗、书、画三位一体，故而颇不寂寞。又名其居所为“退耕堂”，以示将陶渊明为楷模而仿效之意。此间书画作品中亦多流露出此等心态。如为严范孙（清末翰林，著名教育家，南开大学创始人）所题诗有云：“诗坛酒垒厌江湖，眼底纵横见此图；花月多情如梦幻，川原有恨入榛芜；客来关辅三霄路，臣本烟波一创徒。”表现出高士飘然山林，深知宦途如梦的隐逸心态，高华磊落，舒卷自如，颇有“超凡入圣”之格调。同行评价为“吟咏之功，度越前人”者也。

世昌以翰林出身，擅长书法，尤精行、草二体，宗法苏轼，略变其体，名重一时，在津门各殿堂中，多可睹其墨迹。如天津老字号“正兴德茶庄”、“成兴茶庄”、“直隶书局”等匾额，均出自其手。在任大总统期间，常题字赠与国会议员。世昌书法，确有功力。已达到布局严谨，上下顾盼，左右相映，气血相连，墨蕴饱满，活灵活现，挥洒自如，清灵飘逸之境界。颇具俊秀之气，给人以一种书法艺术的美感。1919—1926年间，世昌陆续将其书法作品汇集成《水竹邨（村）人临帖》共三册、《石门山临图帖》一册，刊印发行。其中对联为大宗，余为条幅、册页之类。