Para evitar que franceses e ingleses se radicasen de nuevo en Samaná, el gobernador español de Santo Domingo trajo a un grupo de canarios que en 1756 fundaron la actual ciudad de Santa Bárbara de Samaná. Otro grupo de isleños fundó Sabana de la Mar, en la costa Sur de la bahía.
En 1763 el gobernador general de la posesión francesa de Martinica, el conde D’Estaing sugirió a su gobierno que pidiese a las cortes españolas la entrega a Francia no sólo de Samaná, sino de toda la costa Norte de la isla Española, desde Montecristi, para así aprovechar los fértiles valles de los ríos Yaque y Yuna. Aunque esas negociaciones avanzaron, no fueron aceptadas en Madrid. Un documento preparado por un francés en los últimos años del siglo XVIII hacía énfasis en el gran valor de la península y de la bahía de Samaná para los franceses. En 1782, el buque francés “Scipion” encalló en el desde entonces llamado Puerto de los Ingleses, cerca de la actual Punta Hicaco, en la costa Sur de la bahía, mientras luchaba contra tres barcos ingleses.
Según un reporte de 1783 en los archivos españoles, en el poblado de Samaná existían unas cuarenta y nueve casas y unas doscientas quince personas, de las cuales cincuenta y cinco eran niños. Un sacerdote suministraba los servicios religiosos. El interior de la península estaba deshabilitado. En ese mismo año un viajero francés de nombre Juan, nacido en Nantes, se había dedicado allí a la piratería, “carrera para la cual cobró de súbito un gran horror” concibiendo la idea de “huir de sus compañeros a quienes él excedía en crueldad, refugiándose en un rincón de la península donde permaneció por mucho tiempo completamente oculto”. Al cabo de veintidós años este ermitaño fue descubierto por uno de sus antiguos compañeros.
Los habitantes de Samaná, impactados por ese gesto del ermitaño, le convencieron trasladarse a la ciudad de Santo Domingo, pero allí “no pudo soportar el ruido del mundo del cual había estado apartado por más de treinta años y murió muy pronto”. La ubicación del lugar donde residía Juan fue denominado punta del Ermitaño y el islote frente a la misma lleva ese nombre. Se encuentran a pocos kilómetros al Este del actual poblado de El Limón. La playa Ermitaño es hoy visitada en lanchas por muchos turistas franceses, quienes desconocen el origen de ese nombre. Tres años después un funcionario español se oponía, desde Madrid, a la cesión de Samaná a los franceses, quienes en recompensa insinuaban que ese traspaso podría servir, parcialmente, para la re-adquisición por los españoles del peñón de Gibraltar.
