在西汉时期，郴州城东的牛脾山下有一个大村庄，郴江河从村前蜿蜒流过。村里的姑娘们常常到河边洗衣和嬉戏。其中，潘家姑娘不仅容貌出众，还知书达理，深受大家的喜爱。
一天清晨，潘姑娘像往常一样早早来到河边洗衣。她蹲在一块大石头上，轻轻地用棒槌敲打着衣服。当衣服即将洗完时，一根红丝线从上游飘来，在她脚边游来游去。潘姑娘觉得有趣，便用棒槌去撩它，可红丝线却总是缠回来。她有些着急，便用嘴去咬，谁知红丝线竟脱开棒槌，滑入她的口中，最终溜进了她的肚子里。潘姑娘惊慌失措，但红丝线进入体内后，她并未感到不适，也就没再放在心上。
然而，不久后，潘姑娘发现自己怀上了孩子。这对于一个黄花闺女来说，实在是件不得了的事！她的父母气得对她破口大骂，责怪她丢尽了潘家的脸；村里的流言蜚语更是铺天盖地，嘲笑她伤风败俗。潘姑娘无法忍受这样的生活，只好偷偷逃到牛脾山，找了个石洞栖身。
在石洞里，潘姑娘生下了一个男孩。她抱着孩子痛哭一场，担心孩子长大后会遭受世人的欺辱，便狠心将他留在了石洞中，自己则下山而去。然而，没走多远，她似乎听到了孩子的哭声，心中一软，又匆匆返回石洞。她担心孩子是冻得哭，便急切地跑回洞里。可洞内却异常安静，她以为孩子已经哭得没了气息，心急如焚地冲进洞中。没想到，她看到的景象让她惊喜交加：她的孩子正被一只白鹤用翅膀抱着，小嘴含着身旁一只白鹿的奶头，大口大口地吃奶。孩子似乎只几个时辰不见，却已长大了许多。潘姑娘心中的恐惧瞬间化为喜悦。白鹿与白鹤见到她也不惊慌，等喂饱孩子后，便起身出洞，转眼间便消失得无影无踪。潘姑娘决定不再下山，带着孩子在洞里生活。白鹿与白鹤也每天来喂奶，孩子一天天长大，不到一岁就能和白鹿白鹤一起出洞玩耍了。
转眼间，孩子满周岁了。潘姑娘心想，孩子虽没有父亲，但总得有个名姓。她走出洞口，抬头望见一棵大树的枝叉上挂着一条用禾草穿着的草鱼，树下有个人正枕着树身睡觉。她灵机一动，将草、禾、鱼三字结合起来，取了个“苏”字作为姓；又将枕和树身联在一起，取了个“耽”字作为名。于是，孩子便被取名为“苏耽”。
苏耽六岁时已十分懂事，对母亲孝顺有加。一次，母亲生病想吃豆腐乳，他便独自前往湘潭购买。郴州到湘潭数百里，他却来去不到一个时辰。别看他年纪小，却能给人家放牛，挣钱孝敬母亲。他放的五头牛都服服帖帖，他让它们在哪里吃草就在哪里吃草，从不敢乱走，到了傍晚，还能自己回到牛栏里去。大家都称小苏耽为“牛师”。
苏耽上山放牛时，白鹿与白鹤总是陪伴左右，还教他认识山上的各种药草。他不到十岁，便已能用药草给人治病，药到病除。郴州百姓都敬佩他，特意在城里为他们母子盖了间屋子，将他们接出洞来居住。苏耽在城里专心行医，郴州百姓少病少痛，过了几年快乐的日子。
苏耽十三岁那年，一天采药归来，突然跪在母亲面前说：“儿仙道已成，今日便要升天。”母亲含泪道：“娘知道你不是凡胎，迟早要走，只是今后谁来帮百姓治病呢？”苏耽说：“小病无妨，只怕瘟疫。”他指着屋前的水井和井边亲手栽的桔树说：“若发瘟疫，娘可取井水和桔叶熬水救人。”说完，向母亲拜了三拜，转身朝牛牌山走去。百姓们听说苏耽要升天，都赶去挽留。他们刚到山脚，便见苏耽在山顶一块大石头上打坐；等他们爬上山顶时，苏耽已跨上大白鹤，向天飞升。白鹤越飞越高，大家看到苏耽挥手告别。
苏耽升天后第二年，郴州果然遭遇了百年不遇的瘟疫。苏母按照苏耽的嘱咐，摘下井边桔叶，用屋前井水熬成汤药给病人喝，果然药到病除，一场大瘟疫，郴州竟无一人死亡。百姓们更加感激苏耽的恩德，将他出生的石洞命名为“白鹿洞”，升天时站立的大石头称为“升仙石”，还在山顶建了座“苏仙观”，供奉苏耽的神像。牛脾山也改名为“苏仙岭”。
苏耽虽已升天，却仍眷恋郴州。他常回到苏仙岭，在山顶朝西南方向眺望母亲，岭上的松树都被感动，枝叉齐齐朝西南方向伸去，形成了“望母松”。苏母活了一百多岁。多年后的一天，一只白鹤飞来，停在苏母住过的屋顶上。几个顽皮的小孩用弹弓打它，白鹤却不飞走，弹子也打不到它身上。它用爪子在地上画字，留下一首诗，大意是：我是苏仙，回到故乡，为何用弹弓打我？画完，便飞走了，再也没回来。