堡垒的统帅巴约主教奥多和蒙特福特的于格此时还在泰晤士河北岸，诺曼人暂时无法获得任何援军，佛兰德人只要持续围攻两天以上，附近的英格兰民兵就会云集起来加入围城。尤斯塔斯并不想拖延，他决定立刻开始攻击这座城堡，希望通过一次奇袭直接夺取它，佛兰德军队很快开始向曾经被诺曼人攻破的土墙方向进攻，他们手持带翼状棘刺的长矛和筝形盾或圆盾，一部分士兵则负责扛着云梯，一些骑士拔出长剑，带头加入了攻势。
布洛涅伯爵对多佛非常熟悉，爱德华国王统治时期，他作为国王的亲戚曾经来到英格兰做客，却在多佛卷入冲突，他带着手下侍从在这座城镇大开杀戒，导致了多佛与爱德华国王的纠纷。如今旧地重游，伯爵顾不上感慨，指挥部下预备突破诺曼城堡。
诺曼人沿着倒塌的土墙修筑了新的封闭城墙，在朝向教堂的位置，原先的城门也用铁条加固了，布洛涅伯爵预计，敌人会在这里布置主要兵力，并配合教堂方向的军队，用弓弩对己方的士兵进行覆盖射击。但是在这样的夜色里，弓弩的效果会大大降低，因此攻入城内的希望更大。伯爵麾下的一名骑士——根特的鲍德温举着盾牌，挡住头顶方向，他的身侧是一名戴着弗里吉亚式皮帽的长矛手，他们在队列靠前的位置并排前进着。黑暗中佛兰德人难以辨认城堡上的守军，他们只知道敌人会在他们登上城墙的时候奋力反击。奇怪的是，直到靠近壕沟的位置，敌人依然没有射出一箭，仿佛守军已经全部消失一样，甚至听不见半点响动。
就在鲍德温准备越过那道壕沟时，一道火光亮了起来，从壕堑后方忽然冲出一大群士兵，他们穿透夜色，身后是点燃的无数火把，仿佛有上千敌军涌来，在这片声势浩大的攻击中，依稀能辨出诺曼人在呼喊奥多主教的名字。敌人趁着佛兰德军队的攻城队形尚未展开，猛冲进阵列，拼命攻击扛着云梯的士兵，使佛兰德人的纵队出现了很多缺口，敌人用长矛攒刺着猝不及防的佛兰德士兵，几名诺曼骑士挥舞着手中的长剑，竖劈向敌人的剑手一侧，一些佛兰德骑士来不及用手中长剑的护手格挡，只能向后退却，于是纵队的侧翼被越来越多的诺曼人透入，一个弓弩手拼命用左手抓住敌人的剑刃，右手试图用短刀靠近攻击，却被旁边一个手持长矛和圆盾的诺曼人刺穿了肺叶，鲜血从口中涌出。正在后方观阵的尤斯塔斯看到前面的混乱，又听见诺曼人的喊声，以为奥多的主力已经到达了，于是他立刻下令吹响了撤退的号令，佛兰德人纷纷后退，狼奔豕突，将武器和云梯扔在地上，诺曼守军看到敌人虽然人数众多，却陷入了溃乱，更加大胆地追杀过来，顺着逃向船只方向的佛兰德人队伍一直砍刺着，很多人从多佛所在的白色悬崖上坠落下来，尤斯塔斯伯爵靠着一匹已经恢复体力的战马才逃脱了追击，回到船上。
布洛涅伯爵恢复过来后，检查了自己的部队，他们已经丢光了大部分马匹和辎重，在退却中损失惨重，初步估计至少有三百人未能返回，伯爵本人的旗帜也在乱军中丢失了，经历了这场大败后，布洛涅伯爵异常沮丧，这个久经战阵的将领在多佛城下几乎丢光了一切名誉，更失去了和诺曼人作对的勇气。幸存的佛兰德人想起昨夜诺曼军队杀戮的技巧，依旧不寒而栗。
诺曼底的宫廷中，法兰西国王的使节拉奥向这位法兰西最强大的公爵表达了祝贺，这位使节是法兰西腓力国王的一个远亲，他亲眼看着新的英格兰国王向诺曼人分发全高卢都未曾见过的金银，各种贵重精致的花瓶和编织金线的华服，都是从英格兰运回的战利品，最让法兰西国王使节目瞪口呆的是盎格鲁撒克逊人使用的那些用巨大的水牛角制成的酒器，其两端都用金属装饰，这种异邦的宝物就像宫廷里那些年轻的英格兰贵族们披散的顺滑长发一样充满着独特的美感，在一片欢呼中，英格兰国王向在场的诺曼人高声宣布：“这些英格兰的金银财物，将全部分给你们，让今天所有到过黑斯廷斯的人都不能说，他没有从威廉的征服中获利！”