于是，每当他没能成为众人关注的焦点时，无论是金钱、地位，还是权威方面，他都会大发雷霆。这种心态伴随了他一辈子。安森从不屑于跟其他男孩一争高低，他认为自己理应是他们的领袖。当情况并不如意时，他就退回家里寻求慰藉，而他的家族总能满足他的一切需求。毕竟那时候，美国东部关于钱的认识还比较传统，一笔可观的财富能把一大家人紧紧聚在一起；而在相对更为势利的西部，金钱却能使一个家族走到四分五裂的地步。
十八岁那年，安森去纽黑文耶鲁大学上学，大学期间他长得高大壮实，肤色白净，面色红润，这都得益于他规律的校园生活。不过，他额前的黄头发乱七八糟，再加上长了一个鹰钩鼻，这两样东西让他很难称得上英俊迷人，但他身上却有种自信的魅力和蛮横的作风。一个上流社会的人在街上与他擦肩而过，不用问就知道，他肯定是一个接受过良好教育的富家子弟。
然而，安森的优越条件没能让他的校园生活一帆风顺。他特立独行的性格在别人眼里变成了骄傲自大，同时，他拒绝接受耶鲁大学的条条框框，对规章制度也缺乏必要的敬畏，无形中就让其他人觉得受到了侮辱。这样一来，早在毕业之前，安森的生活重心就已经从耶鲁校园转移到了纽约。