6 世紀のコーンウォール王の息子である聖キュビは司祭となり、最終的に北ウェールズに流れ着きました。そこでグウィネズ王は彼に古いローマの海軍要塞を与え、そこに宗教共同体を建てさせました。ゴシック様式の教会はずっと後になってから建てられ、最も古い部分は 13 世紀に建てられました。壁からは中世の興味深い彫刻がのぞき、内部はウィリアム モリスの工房で作られた美しいステンドグラスの窓から光が和らげられています。
現在の教会墓地を囲む 4 世紀のローマの城壁の遺跡は、アイルランドの海賊を撃退するために建てられたもので、今でも見ることができます。この砦は、サイビス砦 (ウェールズ語でホーリーヘッドを意味する Caergybi) として知られるようになり、砦が立っていた島はサイビス島 (ウェールズ語でホーリー島を意味する Ynys Gybi) となりました。
