除了“剑仙”、“醉仙”和“诗仙”的美称之外，吕岩还有一个不太为人知的别名——“色仙”。尽管吕岩经过了十次严峻的考验，并获得了师父锺离子的真传秘诀以及火龙真人的天遁剑法，他功成之后已经升入了仙班，成为了一位神仙，但在酒和色的方面他却从未放过，这使得他显得非常世俗。

这位被尊称为“花神”的吕岩在众多仙中尤其引人注目，即便是他的师父也曾批评他说：“你对酒和花都有极大的执着，这两者并用，你铁拐等朋友就笑话你是因为你的这些行为而被人们认为是一个只追求酒色、财气的人。”当王母娘娘过生日时，她还对前来祝寿的众多仙人们说：“你们中的许多人都可以来给我做寿，只不过我不愿意让吕洞宾来，因为他贪图酒、色、财、气。” 《吕纯阳祖师全传》的后卷记载了吕岩在市井混迹的一些故事，其中包括衮州妓馆、广陵妓馆和东都妓馆等地，都留下了纯阳子的足迹。看起来吕洞宾喜欢在妓院中徘徊，最著名的是与白牡丹发生的那一系列桃色事件，特别是那个关于“三戏白牡丹”的故事。

这个关于三戏白牡丹的事迹出现在《东游记》、《吕仙飞剑记》、《醒世恒言》的第二十一卷，以及元明时期的杂剧《吕洞宾戏白牡丹》。《东游记》上写道，白牡丹乃洛阳城中最美丽的一位妓女，她长得国色天香，让人心旷神怡。一旦见到她，吕岩就感到心神荡漾，他想：这个女人虽然漂亮，但她的风度自有一种超凡脱俗之处，对于我这样的高手来说，不仅不会造成负面影响，还可能带来一些好处。

于是，他化作一个风流才子去拜访她，他们一拍即合，就像鱼水相投一样，每个人展现出了自己的风采，“自夜达旦，一直争斗”，但由于他们之间的情感纠葛，“连宿数晚云雨无穷，无端又大快乐”，而且没有任何泄露。这场风流韵事一直持续到深夜，而两人的感情也越发加深。

此事最终被铁拐李、何仙姑与张果知晓，他们商议后决定告知给白牡丹暗中使用的一个绝招。当第二天再次发生，那个关键时刻，“以手指其两肋”，就在两人情热达到顶点的时候，突然间洞宾惊觉，没有时间提防，只能眼睁睁地看着一切结束。而这段曲折精彩的情史，也成了后世传颂千古的佳话。