她的不逢迎反而引起了拜伦对她的兴趣。不久后，两人就在侯兰夫人家正式认识了。对拜伦来说，这是一种新鲜的经历，因为以前在他身边围绕的都是一些社会地位比他低，仰慕他、奉承他的女人；而现在他面对的是一位社会地位相等、文化程度也匹配的社交界名媛。这对他来说，是非常新鲜刺激的。而卡罗琳呢？她已经完全被拜伦的风度折服了。根据罗杰斯的记载：
她向拜伦保证，如果他需要金钱方面的帮助，她所有的珠宝都可以任他取用。如果拜伦去参加她未被邀请的宴会，她甚至愿意在街角等候拜伦，直到宴会结束。
年轻，加上有诗人的头衔和爵位，还有到过希腊的浪漫经历，这使得很多人都为拜伦而疯狂。
拜伦第二次赴卡罗琳的约会时，见到了卡罗琳的一个表妹，那是个乡下姑娘，叫安娜贝拉·米克班克。安娜贝拉认识拜伦之后，迅速地爱上了他，不过她并没有什么直接的表示，她只是将自己的习作托卡罗琳转交给拜伦，希望得到他的指导。卡罗琳将这些诗作交给拜伦时，以为拜伦不会对这个乡下女孩有什么特别印象。不料拜伦却坦言，他觉得安娜贝拉是个很特别的女孩，她那单纯的面貌下隐藏着坚强而又丰富的思想，“不过，我没有想和她互相了解的欲望！……她太纯洁、太完美了！我这个‘灵魂堕落’的人，不值得她认识……”