Sejarah Kastil Rochester dimulai pada tahun 1068 beberapa tahun setelah kekalahan Raja Saxon Harold oleh William The Conqueror di Pertempuran Hastings pada tahun 1066. Kastil ini adalah salah satu dari beberapa kastil yang dimulai dibangun oleh bangsa Normandia pada periode setelah invasi ke Inggris.
Kastil itu secara strategis dibangun di atas bukit di tepi timur Sungai Medway di kota Rochester, Kent. Antara tahun 1087 dan 1089 William Rufus (putra William The Conqueror) bertanya kepada Gundulf yang saat itu menjabat sebagai Uskup Rochester. Dia meminta untuk memperluas struktur batu yang ada di kastil dan sampai sekarang banyak dari sisa pekerjaan ini masih terlihat di luar dinding kastil. Untuk memungkinkan hasil yang kuat dan cepat, pekerjaan dilakukan berdasarkan pada rancang bangun tembok kota Romawi dan menggunakannya sebagai struktur pondasi.
Pada tahun 1127 Uskup Agung Canterbury, William de Corbeil membangun rumah besar yang masih terlihat kokoh hingga hari sekarang. Tingginya sekitar 38 M dan memiliki dinding setebal 3,5 M dan merupakan bangunan tertinggi buatan Norman di negara Inggris. Sepanjang abad ke-12 kastil tetap dalam penguasaan para uskup agung.
Hanya beberapa bulan setelah penandatanganan Magna Carta pada tahun 1215, perselisihan pengaturan tahanan yang terjadi menyebabkan konflik antara Raja John dan para baronnya. Kastil itu jatuh ke tangan musuh raja setelah Uskup Agung berdebat dengannya dan kemudian melarikan diri dari negara Inggris. Raja John mengepung kastil dan mencoba menerobos benteng yang kuat dan tampak benteng masih tetap tidak bisa ditembus. Sehingga sang raja memutuskan untuk memakai jalur terowongan di bawah menara. Menggunakan lemak dari 40 babi dia membakar alat seperti pondasi kayu yang mengakibatkan seluruh menara kastil runtuh. Menara ini akhirnya dibangun kembali menjadi desain melingkar.
Pada pertengahan 1260-an Inggris masih diperintah oleh Normandia dan pada tahun 1264, Rochester Castle menjadi subyek perselisihan bersenjata antara Earl of Leicester, Simon de Montfort dan Ralph de Capo beserta tunangannya Lady Blanche de Warenne. Pasukan Ralph de Capo tidak kesulitan mengalahkan pasukan Simon yang mundur berantakan sehingga de Capo menurunkan jembatan kastil dan melakukan pengejaran. Setelah mencapai jarak agak jauh dari kastil, dia melihat ke belakang hanya untuk memastikan apa yang dia pikir adalah Lady Blanche sedang diserang di benteng kastil.
Dengan geram ia berhenti, berputar, dan melaju kencang ke arah kastil. Ketika sesampainya di kastil dia bisa melihat tunangannya akan tetapi ada lelaki lain yang bersamanya dan lelaki itu adalah saingan lama dalam permasalahan cinta de Capo yaitu Sir Gilbert Clare, sekutu dari Simon de Montfort. Perjuangan antara keduanya jelas keras dan de Capo takut dia akan terbunuh sebelum dia bisa membawa tunangannya. Dia berhenti, menarik busurnya dan menembaki Sir Gilbert. Tragisnya panah itu memantul dari baju besi Sir Gilberts dan menembus jantung Lady Blanch sehingga langsung membunuhnya.
Pada setiap peringatan kematiannya di hari Paskah, konon dia masih berjalan di atas benteng dengan panah yang menonjol dari dadanya dan langkah kakinya masih terdengar jelas. Dia juga disebut dalam berbagai cerita rakyat sebagai White Lady.
Kastil ini rupanya masih memiliki hantu kedua, hantu tersebut diyakini sebagai sosok penulis terkenal Charles Dickens, yang sering terlihat sedang berjalan di Old Burial Ground, yang terletak di parit sekitar kastil, pada setiap malam Natal. Rupanya Dickens mencintai Rochester dan kastilnya yang mengungkapkan harapan agar ia dimakamkan di sana ketika ia meninggal. Kastil Rochester pada saat itu berada dalam kondisi yang buruk dan menyebutkan reruntuhan kastil itu dalam bukunya berjudul The Pickwick Papers dan The Mystery of Edwin Drood.
Menyusul kematiannya dengan menyesal permintaan terakhir Dickens untuk dimakamkan di Kastil Rochester diabaikan dan tubuhnya malah dimakamkan di Westminster Abbey karena Abbey dianggap sebagai satu-satunya tempat yang cocok untuk penulis hebat seperti Dickens. Namun, mungkin arwahnya menginginkan atau memutuskan hal yang sebaliknya dan setidaknya setiap setahun sekali dilaporkan arwah dia kembali ke kastil kesayangannya.
Kastil Rochester dibangun kembali pada masa pemerintahan Henry III dan Edward I, pondasi benteng masih tetap dipertahankan sebagai benteng yang layak sampai abad 16 setelah itu kondisinya kian menurun.
Kastil Rochester dijual ke tangan pribadi selama abad ke-17 tetapi pemeliharaannya sangatlah buruk dan secara bertahap jatuh lebih jauh ke dalam kerusakan. The Corporation of Rochester membeli situs tersebut pada tahun 1884 dan lahannya berubah menjadi taman untuk umum.
Pada tahun 1896 beberapa pekerjaan renovasi dilakukan dan lebih banyak lagi perbaikan struktural dilakukan di tahun 1960-an. Sudah ada beberapa pekerjaan perbaikan yang dilakukan sejak saat itu tetapi atap dan semua lantai sudah hilang meskipun masih bisa naik ke lantai atas.
Kota Rochester merupakan kota tua yang penuh dengan toko-toko antik, bric-a-brac, dan segudang hal yang berkaitan dengan Dickens. Beberapa mil jauhnya terdapat 80 hektar lahan milik Chatham Historic Dockyard yang dibuka sekitar tahun 1598 dan merupakan tempat banyak kapal perang terbaik Inggris dibangun.
Pada tempat tersebut masih tersimpan dengan baik kapal selam kelas Oberon 1964 (HMS Ocelot), kapal perusak kelas 1944 C (HMS Cavalier) dan sekoci sekrup kelas 1878 Doterel (HMS Gannet) yang dapat dinaiki bila melakukan tur. Kapal HMS Victory yang terkenal dibangun di sini, tetapi pada saat perang Napoleon, kondisi kapal memburuk dan menjadi benda terbengkalai di sungai Medway. Ketika Laksamana Nelson melihatnya, ia menyukai kapal itu dan setelah kapal direparasi di Chatham, kapal itu kemudian menjadi andalannya.
