フォート ジェームズは 1661 年からイギリス植民地の重要な交易拠点であり、象牙や金を積んだ船や奴隷船の出発地点でもありました。その後数十年にわたり、この砦は数多くの小競り合いの場となりました。イギリス、フランス、オランダの貿易業者や数人の私掠船 (海賊) によって占拠され、少なくとも 3 回完全に破壊された後、1829 年に最終的に放棄されました。
砦の遺跡はかなり広大ですが、ひどく放置されており、唯一無傷の部屋は食料倉庫で、ドラマチックな効果から奴隷の地下牢と呼ばれることもあります。しかし、最大の脅威は、遺跡が立っている地面を文字通り引き剥がす急速な海岸浸食です。