明朝年间，郑和七次下西洋，带动了许多商人出海去国外经商。
当时有一支船队，由几十个商人组成，为首的商人姓刘。船上载着丝绸、布匹、陶瓷器、茶叶、药材等货物，向南洋开发。途径六横的双屿港，突遇大风，船不能前进，只得靠岸停泊在涨起港码头。可是风越刮越大，一连六七天不停，大家都有些焦急不安。
这晚，姓刘的商人喝了几杯闷酒，便倒在床上。朦胧间，一个白发老人走来，慈祥地对他说：“你知道这里是什么地方吗？”商人答道：“这是六横双屿港。”老人便道：“对对！此港叫双屿，就是有商缘。过了双余年，更加有商缘。”商人听了每句都有双屿，一时不得理解，忙问道：“请问老人家姓名，不知此言何意？”老人道：“吾乃横山老人，所说之言，只能意会，这里是个发祥致富之地，记住就好。”商人还想再问，可老人渐渐向空中隐去。不觉一惊，突然醒来，原来是南柯一梦。想想梦中之言，还能记得。
第二天，天气晴朗，风也小了。姓刘商人召集各船商人，把昨晚梦中之事告诉了大家，并进行商讨。众人议论纷纷。其中一个人说道：“这四句话，后两句不好懂，但前两句说明这里双屿港有商缘呀！告诉我们可在这里进行贸易。”对此，大家都摇头反对，有人说：“看看港上来往都是渔船，哪有什么商缘，还是开船南下吧！”
众人正在议论之间，突然发现东方开来一群船队，细看，这些船的式样、篷帆、旗号都很特别。有一个人说：“这不是外国商船来了吗？”原来这个人去过南洋，见识过外国船的式样。大家都觉得与他们做生意的机会来了。于是回到各自的船上，起锚、拔篷迎了上去。原来他们是欧洲来的葡萄牙商船，自从西方人马可波罗在中国元朝做过官，回去后，写了一本《东方见闻录》，引起了西方航海家来中国做生意的兴趣。他们去南洋各国交易，又来到中国沿海，准备北上，正好在此遇到中国商船，于是就在双屿港进行交易。
因为这里是我国海岸线中段，南北集中地，港上前有佛渡、梅山作屏障，与大陆很近，是一个天然避风良港。于是就相约在这里进行货物交易。后来外国商船都来这里贸易，港上一片繁荣景象。很多商人还带家眷定居六横岛。
双屿港走私贸易与明朝海禁相悖。随着贸易发展、规模扩大，鱼龙混杂、抢掠越货事件不断发生，震动朝廷，明朝为保海疆安宁，收回主权，派兵征剿，经激战，把外国商人赶走，严惩了首恶分子。还强令六横岛上居民迁往大陆。
双屿港的贸易就这样结束了，葡萄牙商人只得在广东一带往来了。但是，六横人仍旧记得这里是发祥致富的好地方。后来，六横人辛勤开发山地，筑起海塘，渔耕同兴。故而，旧时一直流传着“富六横”之说。