Sahildeki binayı inşa ettiren despot, Yunanistan’ın devlet olduğu gün Rum halkının sevinçten verdiği bağışlardan çok para kazandı. Ve o paraları doğum yeri olan Yunda’ya (Alibey Adası) getirdi. Getirmiş olduğu paraların bir kısmıyla sahildeki binayı inşa ettirdi.

Bina sarımsak taşından 1862 yılında inşa edilmiştir. Despot, gelirken yanında getirmiş olduğu paralarla rahat bir yaşam sürdü. 1877 yılının ocak ayında saraya baskın yapan hırsızlar Despot’u öldürdüler. Bir rivayete göre evde buldukları altın gümüş kupalarla 15.000 Osmanlı lirasını da alarak kaçtılar.

Despot bütün sıkıştırmalara rağmen adaya gelirken yanında getirmiş olduğu altınların yerini söylemedi. Ölümünün ertesi günü büyük bir cenaze merasimiyle Taksiyarhis kilisesinin apsisi dışında gömüldü. Despot’un ölümünden sonra Osmanlı Devleti Sine Kilisesinden binayı satın alarak Hükümet Binası olarak kullanmaya başladı.

   1915 Rum baskınından sonra adaya gönderilen teftiş heyeti, Yunda (Alibey Adası)  ve Ayvalık halkının baskına destek verdiklerini, Osmanlı Devletine karşı isyan halinde olduklarını rapor edince Yunda (Alibey Adası)  ve Ayvalık’taki Rumlar Susurluk içlerine gönderilir. Osmanlı Devleti, dâhili ve harici problemlerle uğraşırken sürgüne gönderilenler yavaş yavaş eski yerlerine dönmeye başlarlar.1919 yılında Yunan ordusunun İzmir’e çıkarma yapması ile sürgündeki bütün Rumlar kimseden müsaade almadan eski yerlerine dönerler.

evin yemekhanesi

Yunanistan’ın Anadolu’ya hâkim olacağını düşünen bölge Rumları, Osmanlı Devletinin malı olan sarayı 1921 Eylülünde öksüz yurdu olarak kullanmaya başladılar. Kurtuluş savaşının kazanılması ile Rumlar bölgeden ayrılınca, mübadeleyle gelen Türkler aynı binayı hem ilkokul hem de öksüz yurdu olarak kullanmaya başladılar.

1980 yılında Öksüz yurdu yeni binasına taşınınca Despot Evi kullanılmamaya başlandı. Kapılar kapatılmış olmasına rağmen yangın merdiveninin kaldırılmamış olması çocukların ve hırsızların
içeriye girerek tahrip etmelerine yol açmıştır.