Het Mannetje van Willemstad
Moerassen met veenmos, zeggen en varens, wat zoetwaterstroompjes omzoomd door wilgen en elzen, hier en daar een zandruggetje met wat eiken en andere bomen, naar het zuidoosten overgaand in hoger gelegen en dicht beboste zandgronden, zo moet de Ruigenhil er rond 5300 jaar voor Christus hebben uitgezien. Het was een geschikt milieu voor jagers en vissers uit de middensteentijd. Het tot nu toe enig spoor van menselijke aanwezigheid uit die tijd werd in 1966 gevonden bij de bouw van de Volkeraksluizen. Het was een 12,5 cm hoog eikenhouten beeldje, dat de geschiedenis is ingegaan als "Het Mannetje van Willemstad". Het werd gevonden op een diepte van –8 m NAP. De C-14 datering gaf destijds een ouderdom aan van 4450 v.C (+ of – 85 jaar), maar door een latere herziening van de ijkmethode moeten hierbij nog 800 à 900 jaar worden bijgeteld, zodat de ouderdom op rond 5300 v.C. gesteld kan worden. De betekenis van dit beeldje uit de middensteentijd is onbekend: was het een talisman, een afgodsbeeldje of simpel een versierde handgreep?

Het veen
Nadat de zee in het lager gelegen westelijke deel van de Ruigenhil enige tijd zijn invloed deed gelden, ontstond hier door de vorming van strandwallen langs de kust in de loop van enkele duizenden jaren, evenals in geheel westelijk Nederland, een groot veenmoeras, dat ook de hogere zandgronden ging bedekken. Het veen werd tenslotte zo hoog, dat het buiten het bereik van grond- of rivierwater lag. Aangenomen wordt dat dit gebied niet meer geschikt was voor bewoning.
Door de nog steeds verder gaande verhoging van het zeewaterpeil en het ontstaan van estuaria, drong de zee in de tweede helft van de 13e eeuw via bestaande veenwatertjes door tot in het gebied van de Ruigenhil. De ontwatering en de inklinking van het veen begon hiermee. Het veenlandschap kwam al gauw in de greep van de getijden en begon te veranderen in een slikken- en gorzenlandschap.

Het dorp Valkenberg
Ergens in dit verdrinkende veengebied ontstond het dorp Valkenberg, dat voor het eerst in een akte van 1285 wordt genoemd. Het door zeewater doordrenkte veen was namelijk geschikt geworden voor de lucratieve zoutwinning. Hiervoor werd in het gors een lage ringdijk aangelegd – een zgn. moerdijk – waarbinnen men moer begon te winnen, droogde en daarna verbrandde om uit de as zout te winnen. In 1369 werd Valkenberg voor het laatst genoemd, gedoemd om in de steeds verder oprukkende zee te verdwijnen. De juiste ligging van het dorp is nooit achterhaald. Waarschijnlijk lag het tussen de Dintel en Willemstad aan de kreek de Valkenbergse – of Grote Amer.

Het gors de Ruigenhil
In de zestiende eeuw werd het in de noordwesthoek van Brabant ontstane gorzengebied langzamerhand rijp voor inpoldering. In 1526 kwam de bedijking van Standdaarbuiten klaar en in 1548 die van de Oude Fijnaart. Tien jaar later waren de Niervaart en de Nieuwe Fijnaart ingepolderd. Al direct na de inpoldering van de Oude Fijnaart was men begonnen met landaanwinning door een rijsdam aan te leggen tussen de Ruigenhil en Heijningen. Ook probeerde men de Grote Amer in de nabijheid van de Fijnaartse molenwerf (Oude Molen) af te dammen, wat steeds mislukte en waardoor het nog lang bestaan hebbende Vrouwe Jacobsgat ontstond.
Het gors de Ruigenhil werd aanvankelijk verpacht om te vissen, om op vogels te jagen en om riet te snijden. Later werd er het weiderecht bij betrokken. Schaapherders pachtten verschillende delen van het gors, bouwden keten op zelf opgeworpen hoogten en weidden er hun schapen totdat de vorst inviel. In 1564 moesten zij het veld ruimen, daar het gors werd bedijkt.

De inpoldering van de Ruigenhil
In 1561 besloot de Markies van Bergen op Zoom, Jan IV van Glymes, de tot zijn eigendom behorende gorzen de Hoge en Lage Ruigenhil in te polderen. Door de gorzen te bedijken zou een vruchtbaar landbouwgebied ontstaan wat, zoals de markies schreef, een verbetering van zijn jaarlijks inkomen zou zijn. Ook zou de veiligheid van Vrouw Jacobsland alias de Fijnaart er mee gediend zijn.
Er werd dat jaar voortvarend aan de voorbereidingen gewerkt. Een bestek voor de inpoldering werd gemaakt en er werden enkele gezworenen tot een voorlopig dijkbestuur aangesteld. Boudewijn van Drenckwaert werd benoemd als dijkgraaf.
Er moest nog overleg geschieden met de Prins van Oranje die het aangrenzende Niervaart in bezit had, waarvan de grens in het midden van de nog in te dijken Tonnekreek lag. Bovendien moest de grond voor men kon gaan beginnen aan de man gebracht worden, wat minder vlot ging dan men had gehoopt.
Zodoende kwam het er in 1563 nog niet van en werd het gors nog voor een jaar verpacht aan de schapenboeren. Hiervan zullen zij grote spijt gehad hebben, daar een plotselinge zomerstorm mens en dier verraste. In het wildkolkende water verdronken alle beesten.

Op 6, 7 en 8 september 1563 werd het gors door de dijkgraaf, gezworenen, gecommitteerden van de markies en enkele mededijkers, waaronder de bekende waterbouwkundige Andries Vierlingh, bezocht en werd besloten tegen maart 1564 met de bedijking te beginnen. Door de landmeter werd het tracé van de nieuwe dijk uitgezet. De dijk moest binnen enkele maanden gereed zijn, voordat stormen het al gedane werk zouden vernielen. Aangezien de bouw van een dijk rondom gelijke tred moest houden, werd de vele kilometers lange dijk per gedeelte aanbesteed. Het werk vergde een groot aantal mensen. Al die arbeiders werden van heinde en ver aangeworven. Men begon direct na de winter zodra het weer het toeliet. Maar al eerder waren er al schepen bij het gors verschenen om het vele benodigde materiaal te brengen. Bovendien moesten er keten gebouwd worden waar de arbeiders in konden slapen en voor de zoetelaars die voor de inwendige mens zouden gaan zorgen. Het vroeger zo verlaten gors, domein van schapen en vogels, werd plotseling overstroomd door een mensenmassa, die gewapend met schoppen en kruiwagens, de weerbarstige klei te lijf ging om in enkele maanden tijd een nieuw leefgebied voor de mens te schapen.

Men begon op enige afstand van de hoogwaterlijn met het leggen van een achterkade met aan weerszijde een sloot. Met de uit de beide sloten gegraven klei werd de vijf voet hoge kade, te vergelijken met een zomerkade, gemaakt en met zoden bekleed. Haaks op die kade werden om de paar bestedingen 'haagkaden' gemaakt tot aan de 'voorvorsing' , de aanzet van de nieuwe dijk. Deze dienden om bij een eventuele doorbraak van de kade, de schade tot een klein oppervlak te beperken. De benodigde klei werd uit de hierbij ontstane vakken, de 'schaapstallen' gehaald, waarbij op een bepaalde afstand 'spekdammen' van ongeveer vier meter breed werden uitgespaard. Dit om te voorkomen dat als de haagdammen na de voltooiing van de dijk werden doorgebroken, er geen stroom langs de berm van de dijk zou lopen. Op de kaart van het dorp Ruigenhil – in 1570 getekend door de landmeter Jan Symonsz – is de hiervoor beschreven situatie, zoals de dijk met daarvoor de schaapstallen (de putten waar de grond voor de dijk werd gehaald), de haag- en spekdammen en de kade nog goed te zien.

In het westen werd een deel van het gors – de Vla(k)ke Hoek – buiten de bedijking gehouden, daar anders de dijk een te scherpe hoek zou maken. Dit gebied kreeg later de naam Maltha en zou als bezomerdijkt weiland de ingelanden gedurende eeuwen veel baat opleveren.
Problemen waren er bij de sluiting van de grote kreken, maar het lukte om in de zomer al met het werk klaar te zijn. De wegen en de kavelsloten werden aangelegd, waartoe eerst een brede reep land van riet ontbloot moest worden. Aan weerszijden van de weg werd een sloot gegraven en met de hieruit afkomstige aarde werd de weg aangelegd. Om de voormalige gorzen en rietvelden tot behoorlijke landbouwgrond om te zetten, werd het riet en andere ruigten afgebrand en de grond zoveel mogelijk geëgaliseerd. Er werden sloten gegraven, kleine kreken of rilletjes gedempt, dammen of heulen in en over de diverse kreken en sloten gelegd en natuurlijk moest er een afwateringsluis gebouwd worden.
In het jaar daarop, in 1565, was het zover dat men met de bouw van een dorp kon beginnen. Dit dorp werd aangelegd bij de uitmonding van de Hoochkeetsekreek in het Hollandsch Diep, waarvan het binnendijkse deel gedempt werd en het buitendijkse deel als haven dienst ging doen.