关于六横岛来历，说法不一。
六横岛，原名黄公山。相传很久很久以前。一天，东海龙王的幼公主在内宫沐浴，水沫溅海，香气溢天，适逢龙王六员神将巡海经过，深被诱惑，攀墙窥望。此事被公主侍女发觉，告知内监并转禀龙王。龙王勃然大怒，便把六将捆至堂前，当堂发落，各挨八十梅花棍，拔去头角，还复蛇形，逐出宫门，令其自省。谁知六蛇不但不思悔改，反而在东海边上兴风作浪，覆舟楫，溺船民，闹得海边民众不得安生，哭喊皇天。
时值农历九月十九，南海普陀山观世音菩萨在赴天庭蟠桃会之后，路过东海上空，忽见双屿港畔瘴气冲天，浊浪翻腾，又闻海边民众哭声动天，求救声不绝，菩萨云驾莲台，来到遭灾的乡间村落，倾听寡母孤儿泣血诉苦。顿时，菩萨慈悲大发，在双屿港畔找到六条巨蛇，柳枝指向，大声斥道：“尔等孽障，前科未了，又犯重罪，本当置之非命，念及天年未尽，尚可教化，要么回归龙宫向龙王认罪伏法；要么留在海边为民效劳，将功赎罪！”六蛇计议一番，一齐跪伏在大士座前，呼喊愿意留在海边赎罪补过，恳请大士宽恕。为表决心诚意，相继纵跳触天，顿化为六道横山，为海边村庄遮风挡浪。
六横古民称巨蟒为“横”，这方言口语至今还保留在部分老人的语汇里，“六横六横”六条蟒之化身，于是就成了六横岛名称的来历。这也可以跟六横岛地形状貌相印证，从西北向东南确实有六道逶迤似蛇横列的山脉。
又据六横双塘84岁老人虞金桂讲述，古时候，海龙大王派六员将领去巡逻，因偷看龙王公主沐浴，被龙王逐出龙宫，并现出了原形，为六条蟒蛇。六横人称“蟒”为“横”。这六条“横”，不但不知悔改，反而在海上兴风作浪，祸害渔民，后经观世音菩萨教化，那六条“横”决定弃恶从善，顿时，向天跃起，后跌落在舟山群岛南部的一个大岛的边沿海域里，变成了六座岩礁，为该岛遮风挡浪。这六座岩礁是：龙山向水礁，石柱头黄礁，平蛟外帽礁，台门海闸门，长涂丫鹊礁，苍洞四礁洋。因为这六座岩礁，是六条“横”的化身，并环绕全岛，故得名为“六横岛”。