Port d’Andratx liegt rund um einen Naturhafen an Mallorcas Südwestküste, wo sich ein großer Teil des Erlebnisses dicht am Wasser konzentriert. An der Hafenpromenade liegen Marina, Fischerhafen, Restaurants und Ausblicke Seite an Seite, sodass der Ort am besten als langsamer Spaziergang entlang von Mole und Kai funktioniert – eher als eine Stadt, die man in wenigen Minuten abhaken sollte.
Der Kontrast ist Teil des Reizes: Yachten und ein exklusives Hafenambiente prägen das Bild, doch die Fischerboote und La Llotja halten unter der Oberfläche an der älteren Küstenstadt fest.
Entlang des Hafens gibt es Restaurants mit Fisch und Meeresfrüchten, und der Blick über den Hafen ist ein großer Teil des Essens. La Llotja am Hafen ist der Fischmarkt der Stadt und ein sichtbares Zeichen dafür, dass Port d’Andratx nicht nur Marina und Ferienwohnungen ist. Die Gemeinde gibt an, dass man am Nachmittag frisch gefangenen Fisch direkt von den Fischern kaufen kann.
Die Hafenstadt liegt nahe an der Küstenlandschaft rund um Cala Llamp, Cala Moragues und Cala d’Egos. Für Wanderer hat der Ort außerdem eine weitere Rolle: Port d’Andratx ist als km 0 des GR 221, Ruta de Pedra en Sec, markiert, mit Verbindung nach La Trapa und weiter in die Tramuntana-Landschaft.