萨维尔和母亲的关系极为亲密。她是一个性格坚毅、不易动感情的人物。萨维尔把她称作“公爵夫人”，对她充满迷信式的敬畏。在父亲死后，萨维尔在家照料了母亲16年，直到她在1973年去世。此后，他把她的衣服全都悬挂在一间衣橱里，全部保存下来，每年都会清理一次。

　许多人都觉得萨维尔有些不对劲，他对于在医院里消磨时间有着难以想象的热情。当他回忆自己母亲的死时曾经这样说：“当她死的时候，她就完完全全属于我了。她看上去好极了，她属于我。死亡真是件绝妙的事。”

　广播四台的精神病医生安东尼·克拉尔曾经怀疑，萨维尔的感情上的饥饿童年给他造成了心理上的伤害，促使他习惯于以艳丽浮夸的模样出现在公众面前，并在工作上追求尽善尽美。但萨维尔对这些说法嗤之以鼻。

　1983年，萨维尔在《太阳报》上说：“为我工作的人说我是教父，没人会胆敢打搅教父，一些我所做过的耸人听闻的事足以让我入狱10年。”可直到他去世，人们都觉得那只是萨维尔的虚张声势罢了。

　人们热爱萨维尔。他古怪，可许多名人都古怪，有谁能像他那样个性十足、乐善好施、激励人们追求梦想呢？更何况他还是个聪明人。萨维尔是门萨俱乐部的成员，这是个高智商人士的社交平台，入会者都需要经过智商测试，测试成绩不得低于148。天才们多少都有些古怪的吧。

　早在1973年，有关萨维尔喜欢和未成年女孩交往的传言就已经流露出来。BBC广播一台的管理者道格拉斯·穆格里吉曾经向该台新闻官员询问，是否有报纸打算刊登关于萨维尔传闻。穆格里吉收到的回应是，报纸“听说过这些指控”，但“不管它们是真是假”，它们都不愿意刊登，因为萨维尔为慈善事业贡献了很多，“广受公众的欢迎”。