在那个几乎没有书本的时代里，记忆力是一种很神圣的能力。罗马学者老普林尼（Pliny the Elder）撰写的巨著《自然史》（Natural History）可谓世纪初的一本百科全书，里面收录了古代很多有趣的事情，也收录了历史上最独特的记忆术，还能帮你赢得很多打赌游戏。老普林尼写道：“赛勒斯国王能记住他的军队里所有士兵的名字；卢修斯·西皮奥（Lucius Scipio）能记住罗马所有人的名字；刚到罗马的第二天，赛勒斯国王的特使齐纳斯（Cineas）就记住了元老院的所有议员和所有骑士的名字……在希腊，有一个叫查马达斯（Charmadas）的人可以背诵图书馆里所有的书籍。你随便从书架上抽出一本书，他都能倒背如流，好像他正在打开来阅读一样。”当然，对于他的这些记述我们不能全盘接纳（他甚至还讲过，在当时的印度存在一个长着狗头的人种），但是其中所记载的大量关于记忆力的奇闻轶事还是很能说明问题的。老塞内加（Seneca the Elder）可以按照顺序背下来2000个人名；圣·奥古斯丁（St. Augustine）提到过他的一个朋友辛普利丘斯（Simplicius）可以倒着背诵诗人维吉尔（Virgil）的长诗《埃涅阿斯纪》（The Aeneid）（他能从前到后背下来就够令人吃惊了）。在当时，超群的记忆力被视为一种无上的美德，因为它代表着一个人已经把大量的外界知识吸收到了自己的大脑中。玛丽·卡拉瑟斯（Mary Carruthers）写过两本关于记忆术历史的书，她在书中这样写道：“生活在古代和中世纪的人对记忆很是敬畏。当时，具有超群记忆力的人都被大家看做是天才。”事实上，在提到一位圣人的时候，除了他们的优良品德，人们最常提到的就是他们的超群记忆力。

在《修辞学》中，关于记忆力（“创造力的宝库和修辞的监管者”）的内容所占的篇幅很少，大概只有10页左右，剩下的内容全是对修辞和演说的论述。在开始论述记忆力时，它首先提及了自然记忆力和人工记忆力之间的差别：“自然记忆力就是根植在我们头脑中的记忆力，随着思想的诞生而自动生成；人工记忆力就是经过训练，借助一套原则而被加强的记忆力。”换句话说，自然记忆力就是人天生就附带的“硬件”，而经过训练的记忆力则是在“硬件”上运行的“软件”。

这本书的作者继续论述道：人工记忆力有两个基本的组成部分，即图像和位置；图像代表一个人想要记住的内容，位置—按照拉丁语里的说法是地点，代表的则是这些图像存储的位置。

也就是说，在记忆的时候，要在头脑中形成一个空间，生成一个自己熟悉的、很容易就想到的场所，然后把那些代表着要记住的内容的图像放在这个场所里。罗马人把这种方法叫做“位置记忆法”，这样的场所后来被称为“记忆宫殿”。

虽然被称为记忆宫殿，但并不意味着这样的记忆场所就必须像个宫殿，甚至也不需要是一座建筑物。它可以是一个小镇上的一条路线，就像S的路线一样，也可以是一座火车站，或者是十二星座，甚至可以是神话中的动物。这个场所可大可小，可以在室外也可以在室内，可以是真实的也可以是虚构的，只要你对它们足够熟悉，而且是井然有序的，可以让你把一个地点与临近的一个地点联系起来。曾获得美国记忆力锦标赛4次冠军的斯科特·海格伍德（Scott Hagwood）利用《建筑学文摘》（Architectural Digest）里的豪华房间作为他的宫殿来存储记忆。那位精力充沛的马来西亚记忆力锦标赛冠军义·斯·朱（Yip Swee Chooi）博士，他的记忆宫殿是自己的身体。利用自己的身体，他记住了56000个词语、1774页的牛津汉英词典。一个人可以拥有几十座、上百座甚至几千座记忆宫殿，每座宫殿都用来储存不同的记忆。