胡因梦与李敖第一次见面的场景，颇为有趣。当时，胡因梦的旁边站着她的母亲，也就是李敖口中“那个可怕的丈母娘”。而李敖身边站着的，是他当时的女友刘会云。胡因梦当时26岁，已经从纽约回到台湾，做了5年演员。对胡因梦而言，李敖的名声自是如雷贯耳，但是见到李敖第一眼，心里颇感意外。“之前认定他应该是个桀骜不驯的自由派，没想到本人的气质完全是基本教义派的保守模样——白净的皮肤，中等身材，眼镜底下的眼神显得有些老实，鼻尖略带鹰钩，讲话的声音给人一种声带很短的感觉。他看到我们母女俩，很规矩地鞠了一个大躬。”
胡因梦并不认为自己对李敖一见钟情，“在第一次见面的时候，没有那个感觉，我纯粹就是对他的文采，对他过去出版的这些书里思想的一个崇拜，心里面一点都没有那种噗通一下的感觉。”至于李敖是否对胡因梦一见钟情，不得而知，但按照他“50岁前看到女孩子立刻下手”的想法，纵然当时身边站着温婉的女友刘会云，在第一次见面之后，44岁的李敖还是对美丽的胡因梦展开追求。他邀请胡因梦喝咖啡，带她去金兰大厦的家见识自己的十万册藏书，而坐在沙发上聊天时，李敖突然以一种“很奇怪”的方式吻了胡因梦。“他的脸就压下来了，然后直直的，脸都不会弯一弯，压得很紧，最后吸出了一个紫色的唇印。差不多有两个礼拜的时间，我都要上妆去把它盖起来，免得人家看到。”说起这段往事，胡因梦更多地是觉得好笑。“我觉得这人太怪了，连接吻都跟人家不一样。”
有“寒冷恐惧症”和“绿帽恐惧症”
从这个老土的接吻方式开始，胡因梦逐渐被李敖人格中的种种冲突性所吸引并爱上了他。胡因梦曾经问过李敖，他的另一位女友刘会云怎么办。李敖说了一句令她绝倒的话，“他说他会告诉她，我爱你还是百分之百，但现在来了个千分之一千的，所以你得暂时避一下。”胡因梦问李敖什么叫暂时避一下，李敖说：“你这个人没准，说不定哪天变卦了，所以需要观望一阵子。我叫刘会云先到美国去，如果你变卦了，她还可以再回来。”这个细节足以说明李敖的多疑与防卫，以及对女人呼之即来、挥之即去的态度。这件事虽然让胡因梦很不自在，但此刻她正憧憬着与李敖的美好生活，对于李敖的缺点，统统忽略不计。但是随着接触的不断深入，尤其是在与李敖同居的日子里，胡因梦看到和感受到的，是褪去大师光环后一个真实的李敖。
胡因梦说，李敖的生活就像是一部精准的机器，每天按时起床，一个人在书房里集中精神搜集资料、做剪贴。他不抽烟、不喝酒、不听音乐、不打麻将，可以说没有任何娱乐活动而只有工作。他认识的人不少，但深交的朋友几乎没有，原因是他对人性抱悲观的态度，认为即使是最亲信的人也可能在背地里暗算他。胡因梦想带给他快乐，她不时放些自己爱听的音乐，跳她自己发明的女巫舞，在李敖面前嬉戏，“那种时刻，我确信他是快乐的，不设防的。”
对李敖的种种“怪癖”，胡因梦则有着真切的体会。比如，李敖有“寒冷恐惧症”，他冬天套在身上的衣服，多得让人不可理解。此外，李敖还有“绿帽恐惧症”，在一次胡因梦出门慢跑了一个小时后，李敖很不开心地说胡因梦慢跑一定会和路上的男人眉来眼去，所以不准再跑了。胡因梦喜欢光着脚丫在地上走，李敖反应强烈，他认为灰黑的脚底对他来说简直是一项不道德的罪名。还有一回，胡因梦下厨为李敖煲排骨汤，却因为不知道排骨需要先化冻，而被李敖骂做“没常识的蠢蛋”。但是，胡因梦也承认，当李敖觉得一切都在掌握之中时，他真的是这个世界上最宠女人的男人之一。“每天早上我一睁开眼睛，床头一定齐整地摆着一份报纸、一杯热茶和一杯热牛奶。”
李敖和胡因梦，在外人看来是很完美的“才子佳人”式的爱情，他们相恋的故事甚至上了当年的《时代》周刊封面。但胡因梦知道，要和李敖结婚，除了要说服自己“包容他、安慰他”之外，迈过母亲的阻拦，也非一件易事。但是，最终，他们还是步入了婚姻殿堂。
