记忆里曹少芬从未对感情高调过，除了公开嫁给张晋。对于这个年代的人来讲，无疑对蔡少芬最终没有和吴奇隆走到一起而觉得遗憾，就好比对齐秦和王祖贤、莫文蔚和冯德伦、周杰伦和蔡依林一 样。而过去了就是过去了，现在的蔡少芬应该过得很幸福了。殊不知，她曾被赫赫有名的大富豪刘銮雄包养了六年!而当时她只有18岁。
15岁时，蔡少芬便参选一个模特大赛，结果无奖而归，17岁时又参选港姐，成为当年冠军的热门佳丽，结果当年冠军被拥有双学位的郭霭明夺走，蔡少芬拿走季军，却还是被媒体热捧为最年轻的港姐。那时蔡少芬还有些BABYFAT，化妆也浓，看上去倒不止17岁。不过让蔡少芬声名大震的却是18岁在丽晶酒店(现洲际酒店)的百万生日宴，为他庆生的正是商界名流刘銮雄，与蔡少芬年龄相差二十岁。
蔡少芬从不承认与刘銮雄的恋爱关系，而坊间也数度传言蔡少芬是为还赌债被才刘銮雄包养。 2000年，蔡少芬的阿姨向媒体爆料，声言蔡少芬是自愿跟刘銮雄好，蔡少芬事后召开新闻会，向媒体哭诉为母亲偿还了过亿赌债。
刘銮雄，除蔡少芬，还和多位女星传过绯闻
在蔡少芬年纪很小的时候父母便离异，母亲嗜赌如命，为了逃避债务不断迁居，而小蔡少芬也被逼着不停转校，连朋友都没有。加上在家又经常跟哥哥打架，蔡少芬形成了极重的自卑感和封闭的个性，觉得自己一无是处。为了替家人还债，蔡少芬拍戏后一直节衣缩食，把钱都留给他们。可是很快蔡少芬发现他们的赌债总是还不清，是一个永远填不完的坑。蔡少芬觉得路越走越苦，于是想到了自杀。在一次到三藩市(旧金山)的旅途中，蔡少芬起了自杀的念头，但心底里却涌出一句话：“好好活着”。就在那次之后，蔡少芬回港后找到一班志同道合的朋友。有朋友的支持，重整心灵，生活才觉有意义。
这对曾经的情侣都花了十年青春为各自父母还债。吴奇隆的父亲生意失败欠下港币一千多万，为了代父还债，吴奇隆前后十年分别做过小贩、救生员、装修、地盘、清洁工人以至艺人，至今都未能还清。因此，蔡少芬发生这样的麻烦事，他虽然会难过，但也是爱莫能助。
蔡少芬还被传出于身高及年龄均相差一截的王祖蓝拍拖，07年6月份二人拖手出席《13罗汉》香港首映，蔡少芬更大赞王祖蓝是绝世好男人，值得嫁，稍后男方被揭发另有所爱。
