戴笠对张国焘十分器重，然而蒋介石对他却存有戒心。也正因如此，张国焘的“特种政治研究室”没有设在罗家湾军统局本部，“特种政治工作人员训练班”也与军统其他训练班分开。而他训练的专门对付共产党的特务，却没有几个可以派出去的，虽然经过严格挑选最后还是将少数人派了出去，结果不但一个人都没有策反成功，甚至连派出去的人也有的一去不归。

没有利用价值，蒋介石对张国焘的态度立刻转为冷淡，戴笠对他也很失望，如此一来，张国焘在军统的日子也艰难起来。就在这时，同为北大校友的国民党中组部部长朱家骅向张国焘伸出援助之手，安排他担任了组织部“反共设计委员会”中将委员兼主任秘书，张国焘终于脱离军统，投入中统。

但张国焘无功受封，受到特务们的嫉妒与排挤。加上他在“反共设计”方面实在拿不出什么好主意，而他掌握的共产党的情况与资料也早已被军统特务掏空，因此几个月过去，他一直是“无计可设，无员可用，无公可办”，甚感无聊。

1940年3月，在朱家骅的推荐下，张国焘当上了国民参政会第二届参政员。张国焘对这一职位十分满意，想趁机为国民党出点力，改变自己的处境。戴笠希望他能利用此机会搜集国民党外参政员对国民政府的意见，以便有的放矢。

国民参政会以国民党籍参政员为主体，另有共产党、青年党、民社党和无党派知名人士的参政员参加。参政员的活动均代表自己的党派，而张国焘既不属于什么党派，却又非知名人士，难归于某一派，这是张国焘始料不及的。

更令他感到尴尬的是，所有人都知道他是共产党的叛徒，都像避瘟神一样躲避着他。而他本人更是避免与中共参政员碰面，狭路相逢时会觉得无地自容。这样，完成军统交给的任务也就成了一句空话。

张国焘连任三届参政员，每届都是“无政可参”，处境尴尬，他不仅越来越消沉，而且脾气越来越坏，回家后常常与杨子烈争吵。由于杨子烈爱打扮，俨然贵妇人，张国焘在争吵中便甩出狠话：“我不承认你跟我共过患难"杨子烈被骂后就哭哭啼啼地抱怨：“你看人家，哪个像你这样对待太太。”

1945年5月国民党六大召开，张国焘当选为中央委员。抗战胜利后，由国民党中央设计局局长熊式辉推荐，张国焘出任行政院善后救济总署江西分署署长，因受到江西省主席王陵基排挤，上任两个月后被迫辞职，避居上海。

1948年6月，张国焘终于以私人名义创办了拥蒋反共周刊《创进》，但好景不长，1948年冬，国民党在大陆败局已定，国民党高级官员们纷纷携家小逃往台湾。在这种情况下，张国焘不得不结束《创进》，准备全家迁台。