咸丰元年（1851年），文宗召继畬还京，召对，称其朴实，寻授太仆寺少卿。咸丰二年（1852年），吏部追论继畬在巡抚任逮送罪人迟误，请议处，乃罢归。同治二年（1863年），召诣京师，命在总理各国事务衙门行走。寻授太仆寺卿，加二品顶戴。五年（1866年），以老疾乞归。继畬承其父润第之教，务博览，通时事。在闽、粤久，熟外情，务持重，以恩信约束。在官廉谨。罢归，主平遥书院以自给。寻卒。从传记看，其仕途起伏坎坷，未得显达，与其编纂《瀛环志略》并对华盛顿称许有加关系甚大。

清代翰林具有官员和学者双重身份，故而于为官间歇，多能转而为学。继畬借在乡为父守孝，于道光二十七年（1847年）将其父润第遗作精心编为《敦艮斋遗书》共17卷，计20万字。得先辈“空灵法界”之精髓，完成了迎接西方思想挑战之精神准备。《敦艮斋遗书》于翌年即1848年与《瀛环志略》同在福州出版问世。究其思想精髓，其天论，乃“一元论”的气本论，其人论，乃“我即天也”的人本论，其知论，乃摒弃理学教条之“空灵法界”。自傅山经徐润第至徐继畬之思想脉络，概括为“兼容并包，智周无外”者可也。鸦片战争之结局，给徐继畬触动极大。已有两百年辉煌历史，号称盛世的大清帝国，面对来自数万里之外蛮荒之地的化外夷人，居然不堪一击，一败涂地。怅恨之余，深感夜郎自大于事无补，便利用一切机会，焚膏继晷，着眼于境外之新奇世界，《瀛环志略》应运而生。这是亚洲第一部系统介绍世界地理之著述，其价值不言而喻。此书共分十卷，乃经继畬易数十稿而成。此书图文并茂，立意高远，用词雅正，令人喜闻乐见。其率先突破根深柢固的天朝意识和华夷观念，将中国定位于世界一隅，显示出观念上的巨大进步。其中尤其对美国这一新兴国家表现出极大兴趣，以浓墨重彩予以介绍，涉及立国史、政治制度等等方面，特别肯定了美国首任总统华盛顿之功绩，其中包括前述用于华盛顿碑文之内容。“泰西古今人物，能不以华盛顿为称首哉！”赞美之情溢于言表。

而在当时情况下，继畬对西方政治制度和华盛顿的介绍与推崇，后果可想而知。以当时清廷专制之登峰造极，理念之僵化老旧，岂能容许身为朝廷命官身份之臣下影射和抨击自以为至美之特色制度，且公开赞美外国元首！故而有福建巡抚之免和太仆寺少卿之任，又有于翌年被革职之结局。另据何守先先生考证，当时宁波知府毕永绍亦在赠碑九月之后离任。堂堂大清朝地方大员，竟与西洋传教士沆瀣一气，“称颂夷人，献媚夷酋”，离任当在情理之中也。