關於橄欖樹的起源可以追溯到古希臘神學中去。據希臘神話記載，橄欖樹誕生於一場戰神雅典娜和海神波塞冬的衝突, 卻成為和平與繁榮的象徵。
眾神之神宙斯和第一任妻子墨提斯結婚時，預言家就預測他們會有兩個孩子，並且第二個孩子會試圖奪權篡位。為了避免被篡位，宙斯狠心將第一個孩子吃掉（聽上去很驚悚，希臘神話中確實是這樣記載的）
多日之後，宙斯出現嚴重的反應，頭疼到實在無法消受。於是，他想到請火神赫淮斯托斯用錘頭猛擊疼痛的額頭。幾番拒絕後，火神不得不答應宙斯的請求，朝著眾神之神的頭部猛擊幾下。這幾下帶來神奇的後果，從宙斯頭部生出一個身披黃金甲的女戰神雅典娜。
雅典娜的過人智慧讓大家很快意識到，她不只是戰神那麼簡單，她掌握了那個時代所有的智慧和才幹，藝術、文學、哲學、商業和工業，無所不精。
身為眾神之神宙斯和智慧女神墨提斯的女兒，雅典娜繼承了父母最突出的優點，集力量和智慧於一身，很快成為奧林匹亞斯第二位最有權利的神。
有一天，雅典娜請求父親將希臘的阿提卡半島賜她，這激怒了排隊等待冊封很久的海神波塞冬。於是，一場圍繞著阿提卡半島領地的血雨腥風不可避免的發生了，對陣雙方都是無比強大的萬神之神。
宙斯忽然間陷入了兩難境地，一個是女兒另一位是親兄弟，選哪個好不選哪個好呢? 一番思索之後，他想到了一個裁決領地歸屬的方法：兩方各自為領地提供一個最有用的禮物，然後讓其他眾神組成評委團選出最好的那個，誰提供最好的誰就最終獲得此塊領地。
波塞冬用三叉戟輕輕一點石頭，生出了一個眾神從來不曾見過的生物，它就是世上第一匹馬，象徵著勇敢和戰鬥實力。從那兒以後，世間開始有馬匹幫助人類。
雅典娜也不示弱。她用矛輕觸大地，神奇的一幕發生了，地上長出世上第一顆橄欖樹。橄欖樹代表繁榮和和平。
眾神一致認為雅典娜的禮物對阿提卡領地更有益處。於是，阿提卡被冊封給雅典娜，此後為了紀念雅典娜女神的貢獻，阿提卡更名為雅典。
雅典娜和波塞冬的衝突並沒有因為競爭結果的出爐而結束。不久，波塞冬的一個兒子試圖摧毀雅典娜之樹，即橄欖樹，不料他卻因此而受傷，最終死去。為了更好地保護神聖橄欖樹，雅典居民們在橄欖樹旁設了一圈衛兵日夜站崗守護。相傳，至今世間第一顆橄欖樹依然矗立在那個地方。
在古雅典和希臘，人們對橄欖樹視若珍寶，並立法保護，任何人膽敢損害橄欖樹都會被判死刑。
此後，人們發現橄欖樹不僅僅是產橄欖榨油的植物，橄欖還被用來治癒疾病，給皮膚保濕，用在重要的節日慶典場合（比如，在古代奧運會慶典），當然，還有更普遍的用在飲食上面。
幾個世紀後，羅馬人將古希臘人對橄欖樹的推崇繼承過來。羅馬戰爭與智慧女神密涅瓦將這些傳統保護起來。這樣的重視，一直持續到基督徒接過統治羅馬的權杖。
其實在基督教文化當中，橄欖樹的地位依舊舉足輕重。聖經中記載，諾阿在洪水退去之後，手捧一束橄欖枝回到家園，寓意洪水上去和平繁榮重回大地。
另，在基督教中橄欖樹還是棕櫚星期天的標誌（耶穌在這一天來到耶路撒冷，人們拿到棕櫚葉和橄欖枝夾道歡迎）。
