相传200余年以前，舟山群岛的最东南有一座美丽富饶的小岛，因为海滩上都是沙子，退潮的时候，在阳光的照射下，海水变成了洁白的晶盐，远远望去，沙滩是白色的，故取名白沙岛。那里盛产各种各样的海鲜，人们世代以打渔为生，过着自由自在、安居乐业的生活。
不知从什么时候开始，在舟山群岛东南海域一带出现了一群海盗，他们在海上横行霸道，抢、夺、虏、掠、杀、烧，弄得那一带海域海岛上的渔民人心惶惶，再也不敢轻易出海了。白沙岛上的渔民也是如此，出海的渔民更是提心吊胆，生怕出海时碰上海盗。
一天，一位渔嫂在后山砍柴，她手里拿着砍柴刀，面对大海，脸上充满了期盼的神情，因为她的儿子正出海打渔。前几天她的丈夫在出海打渔时，遇上了海盗，为了保护渔船和渔民，被海盗残忍地杀害了。她希望儿子别再出这样的事情，每次能够顺顺利利地出海、平平安安地回家，因为儿子是她唯一的亲人。
这时，她看见离后山沙滩不远的海面漂浮着一个人，心一下子被揪紧了，扔掉手中的砍柴刀，不管荆棘丛生的小树林、不管崎岖不平的山路，以最快的速度朝沙滩奔去，跑到沙滩边，她一下子跳进海里，朝那个人游去……费了好大的劲,终于把那个人拖上了海滩，一看，不是自己的儿子，也不是儿子同船的渔民，她的心放下了一大半，这时那个人呻吟一下，她连忙蹲下，帮他扶了起来，问还有其他的人吗？他往海上望了望，摇了一下头，渔嫂的心随着他摇头酸了……等把那个人搀扶到家的时候，天快黑了，渔嫂把他扶到儿子的床上，让他躺下，并安慰他，别多想，一切都会好起来的，然后为他烧水去了。她一边烧水一边心里默默地祈祷儿子在海上打渔别遇上不测。正当她想儿子的时候，门开了，原来儿子回来了，渔嫂心一下子放了下来，她迎上前去，帮儿子放好东西，并向儿子说了一切，儿子十分气愤，以为又是海盗干的好事，骂了几句，走到那个人的床边安慰他……
接下来的几天里，儿子每天出海打渔，每次带回营养最好的鱼让那个人补补，那个人的身体恢复得很快。在这期间周边海岛的渔民又碰上了几次海盗，儿子每次听说都是愤愤不平，儿子每当说起这事时，那个人都是低着头静静地聆听，好象在思索着什么……
经过一段时间的调养，那个人的身体终于好了。渔嫂和儿子把他送到码头，在离别的时候，那个人从怀中掏出一面白红黑相间的三色旗，说：“出海的时候，把这旗子挂在船尾的旗杆上，海盗就不会来找你们的麻烦了。”说完就乘船离开了白沙岛。
儿子第二天出海，疑惑地将旗子挂在船尾的旗杆上，果真没有碰上海盗，一天，二天，三天，过了好久都没有碰上海盗。同岛的渔民也都很疑惑，为什么我们的船会碰上，而他不会呢？他们都去问渔嫂，渔嫂把事情经过说给了同岛的渔民听。同岛的渔民听了之后，半信半疑地给自家船都挂上了三色旗。从此以后，白沙岛上的渔船和渔民无论在哪里打渔，都没有海盗来找他们的麻烦，而其他周边岛上的渔民还是会遭到海盗侵袭，白沙岛上的渔民又恢复往日自由自在、安居乐业的生活。人们对三色旗充满了崇敬，也很感谢渔嫂和她的儿子。
此后，白沙岛上的渔民很尊重三色旗，把它交给船上的伙夫保管，脏了要洗，破了要补，且每年要做一面新的三色旗。每当开洋的时候把它挂上，到了洋地之后再把它降下，收起来藏好免得让海风将它刮破。等到船回航的时候，哪一条船的产量高，就把它拿出来悬挂在旗杆上，好让家里的人能早些知道谁家的船得了高产，并且要把三色旗悬挂在船尾右边的旗杆上，这个习俗一直保持到现在。
后来朱家尖的渔民也仿效白沙的渔民在船尾挂上了三色旗，挂上之后他们也再没有碰上海盗，他们也保持着和白沙岛渔民对三色旗一样的习俗。目前在船尾悬挂三色旗的渔船只有白沙和朱家尖。
至于被救起的那个人有很多的说法，有的说他是海盗的一个头目，有的说他是海盗的朋友……反正说也说不清楚，我们也不必再去管，不必再去猜，只愿白沙岛上的渔民生活平平安安，快快乐乐……