De tijdlijn van wanneer olijfbomen voor het eerst gedomesticeerd werden, blijft onduidelijk. Maar toen dit eenmaal gebeurde, werd de olijfboom al snel een centrale factor in de handel en economie van de mediterrane beschavingen. Eeuwenlang heeft de olijfboom de loop van de mensheid aanzienlijk beïnvloed en blijvende sporen nagelaten in de westerse cultuur.

Fossielen wijzen erop dat de olijfboom tussen 20-40 miljoen jaar geleden is ontstaan tijdens het Oligoceen, voornamelijk in wat we nu het oostelijke Middellandse Zeegebied noemen. Ongeveer 100.000 jaar geleden toonden bewijzen van de Atlantische kust van Marokko aan dat olijven werden gebruikt als brandstof en als voedsel.

Ongeveer 7.000 jaar geleden begonnen mensen in mediterrane gebieden de olijfplant te verbouwen en de afgelopen 5.000 tot 6.000 jaar waren olijven een hoofdbestanddeel van hun dieet. Verdere gegevens tonen aan dat olijven ook in de Levant werden geconsumeerd en ontdekkingen op Kreta benadrukken het commerciële belang ervan, dat teruggaat tot 3000 voor Christus. Vooral de Minoïsche beschaving vond rijkdom in olijven.

De Griekse geschiedenis en olijven zijn nauw met elkaar verweven. De oude Griekse dichter Homerus noemde olijfolie de "gouden vloeistof" en men gelooft dat het gebruik ervan door mensen teruggaat tot 19.000 voor Christus. In de Griekse mythologie wordt Athene vereerd als de geboorteplaats van de olijfboom. De eerste boom zou zijn geplant door de godin Athena bij de tempel van het Parthenon. Vervolgens werd deze boom heilig voor de stad. Volgens de legende schonk Athena de Atheners de olijfboom, een vruchtbaarheidssymbool. In ruil daarvoor noemden ze hun stad naar haar. Op de Akropolis in Athene stond Athena's vereerde olijfboom, terwijl de Academie twaalf heilige bomen en een gewaardeerde olijfgaard had. De olie van deze boomgaard werd een gewaardeerde beloning tijdens de Panathenaia-races. Op hun munten toonden de Atheners trots Athena, vaak met een olijvenkrans of olieamfoor. In het oude Griekenland symboliseerde de olijf Olympische waarden zoals Vrede, Wijsheid en Glorie. Olympische overwinnaars uit die tijd werden geëerd met een wilde olijfkrans, de "kallistefano". Volgens de legende werd deze bijzondere olijfboom door Herakles naar Olympia gebracht nadat hij zijn befaamde twaalf werken had volbracht. Bovendien was het iconische beeld van Zeus in Olympia, gemaakt door de legendarische Pheidias, versierd met olijftakken.

Al vroeg waren de Grieken de speerpunt in het verbouwen van de olijfboom in het Middellandse Zeegebied van Europa. Na verloop van tijd introduceerden Griekse kolonisten en Fenicische kooplieden de olijfboom in andere mediterrane gebieden. De historicus Plinius merkte op dat in 580 voor Christus regio's als Latium, Spanje en Tunis nog onbekend waren met olijfbomen en de teelt ervan.