Ellmau leží pod skalními stěnami Wilder Kaiser v Kitzbühelských Alpách. Lanovka na Hartkaiser zpřístupňuje panoramatické a rodinné trasy, zatímco okolní cesty vedou k horským chatám a místům známým z televizního seriálu Doktor z hor. V zimě je Ellmau součástí rozsáhlé lyžařské oblasti SkiWelt Wilder Kaiser–Brixental.