诱拐事件给卡伦家人埋下了一种“地堡心理”，让罗伊对母亲有了更强烈的依附感。一家人非常担心再次出现此类事件，结果露易丝一直等到罗伊8岁时才送他去上学，等他开始上课时，至少比其他同学年长2岁。从他晚年讲述的故事看来，卡伦似乎是一个顽固而又自傲的孩子，而且这些品质还一直延续到他成年。由于对家庭的贫困状况感到羞愧，他对母亲讲述的爷爷伊齐基尔?卡伦的风光和战前美国南部的美好回忆很是着迷，并对东部和北部的东西产生了一种不信任感，这种心态一直伴随了他一生。

卡伦是个孤单的孩子，晚上都是蒙着一床毯子，带着一盏灯、几张地图和几十本书独自待着：其中有瓦尔特·斯科特爵士（Sir Walter Scott）、托马斯?卡莱尔（Thomas Carlyle）、莎士比亚、狄更斯、布莱克斯通等人的著作，还有许多史学著作。他梦想着在世界各地旅游、梦想着拥有自己的事业。他最大的梦想，是某一天修建一处宽敞的白色农庄，带着门廊、格子墙和花园，就像被讨厌的联邦军队士兵烧毁的那种可爱的家庭庄园一样。他向母亲承诺，总有一天，他们会一起住进这样的房子。

他的同母异父的哥哥们都在十几岁的时候离开了家，卡伦12岁上5年级的时候，家里没有钱了。他不顾母亲的反对，选择了辍学并开始在一家糖果厂每天工作10个小时。然而，他仍然极度渴望看看外面的世界。16岁时，听说父亲病了，他离开家去了达拉斯，去跟一位同父异母的妹妹住在一起，希望与父亲和好。不过却没有什么效果。为了继续寻找出路，卡伦参了军，希望在美国-西班牙战争中效力，可是当他的父亲提醒一位军官说他年龄不够时，他被军方拒绝了。卡伦同父异母的妹妹搬家到圣安东尼奥东部德国人聚居的舒伦堡后，卡伦也跟了过去，在从事棉花收购的赖利兄弟公司任职。18岁的时候，他对棉花行业已经颇有了解，成了一名棉花贩子，作为公司代表在各地和农场主谈判商讨棉花收购价格。休斯敦的一家公司雇用了他，派他到俄克拉何马州西部的曼格姆去工作，而那里正是他那身体正在恢复中的父亲定居的地方。