Dalam catatan sejarah, benteng ini mulanya bekas benteng milik Kesultanan Banten yang dibuat pada masa pemerintahan Sultan Banten Abu Nasr Abdul Qohhar (1672 – 1687). Pada 1685, Kesultanan Banten diserbu penjajah Belanda dan menguasa Banten. Benteng itu kemudian direnovasi di atas reruntuhan sisi sebelah utara tembok keliling kota Banten.
Benteng Speelwijk terltetak di Kampung Pamarican, Desa Banten, Kecamatan Kasemen, Sebelah timur komplek Mesjid Agung Banten. Di sekeliling benteng ini terdapat sejumlah makam orang-orang Eropa, terutama bangsawan dan prajurit penjajah yang tewas melawan laskar Kesultanan Banten. Sebagian makam ini tampak sudah rusak. Makam-makam dengan arsitektur Eropa, mempertegas benteng ini sebagai sisa kejayaan penjajah Belanda di ranah Banten.
Benteng ini dirancang arsitektur yang sudah masuk Islam dan menjadi anggota kesultanan yang bernama Hendrick Lucaszoon Cardeel. Nama Speelwijk yang melekat pada benteng itu untuk menghormati Gubernur Jenderal Speelma.
Berfungsi untuk mengontrol segala kegiatan yang berkaitan dengan kesultanan banten dan juga sebagai tempat berlindung/bermukim bagi orang Belanda. Dengan adanya benteng ini semakin mengokohkan posisi Belanda dalam usahanya memonopoli perdagangan merica yang berasal dari Lampung Selatan untuk kemudian dijual lagi kepada pedagang-pedagang asing yang berasal dari Cina, Malaysia, Arab, India dan Vietnam (bah/dari berbagai sumber)
