历史对罗伊·卡伦并不仁慈，尽管这位小学5年级辍学者在其鼎盛时期曾经很可能是美国第一富人。如果他被休斯敦之外的人们铭记，那也通常是作为得克萨斯州极端保守主义的早期卫士，作为一个写信成癖、和富兰克林?罗斯福以及德怀特·艾森豪威尔这样的政界人士争斗的人。卡伦性格严厉，缺少幽默感，有点儿喜欢责骂别人。在他事业的顶峰时期，卡伦是个类似福克纳*笔下的角色的人物，喜欢穿一套白色的夏装，他憎恶共产主义者、“准左倾分子”，尤其是罗斯福；他喜欢“黑人和墨西哥人”以及“纽约的犹太人”；他最喜欢的政界人士是喜欢拿红帽子给人戴的乔·麦卡锡（Joe McCarthy）。这一形象并没有什么不公平的，但是对卡伦来说，令他出人意料的并非仅仅是其政治观点，对20世纪中期美国南部的百万富翁来说，这也没有什么出人意料的。

生命历程贯串杰西·詹姆斯（Jesse James）**和“猫王”埃尔维斯·普雷斯利（Elvis Presley）的卡伦出身贫寒，在圣安东尼奥长大。据他自己讲（别人的说法都没有记录下来），他的童年生活非常艰难，家庭多纷扰，经济经常陷入困窘，而且常常和其他男孩打架。他的偶像、母亲露易丝是个苗条的南卡罗莱纳州女人，内战期间联邦军队把她家的农场烧毁后搬到了得克萨斯州。她嫁给了一位名叫詹姆斯·贝克的表亲，定居在圣安东尼奥，生了5个孩子。19世纪70年代贝克去世后，露易丝嫁给了一个牛贩子西塞罗?卡伦，然后搬家到了达拉斯北部登顿（Denton）郊外的一处农场。罗伊是卡伦的两个儿子中的老大，生于1881年。他两岁时，全家搬回了圣安东尼奥。

西塞罗·卡伦的父亲伊齐基尔·卡伦（Ezekiel Cullen）1836年曾经在反抗墨西哥的革命期间参战，在得克萨斯州第一所公立学校的成立过程中作出过贡献。可惜的是，他的家世是西塞罗唯一的有形资产。罗伊4岁的时候，西塞罗离家出走，两年后悄悄地回过一次圣安东尼奥，劝说露易丝允许他带两个男孩去照张相，然后立刻哄骗着他们去了达拉斯。露易丝聘用了一位律师，并且一路追赶，可是西塞罗?卡伦逃走了，带着罗伊和迪克兄弟二人，乘坐一辆厢式马车一路赶到了菲尼克斯，待了有好几个星期。他很内疚，因为路上卡伦一度从马车上摔了下来并被轧了过去。尽管孩子并没有受什么伤，西塞罗·卡伦显然还是意识到了自己承担不了父亲的责任，于是把孩子们给露易丝送了回去。有好些年，罗伊再也没有见过自己的父亲。