Cette propriété porte le nom de son premier possesseur, le romain Varius qui avait édifié une villa à cet emplacement en bordure d'une petite voie allant jusqu'au Clain et joignant la voie romaine reliant Tours, Paris et Poitiers. Cette voie passait à l'est, sur la crête de la colline. Ce territoire a donc vu passer les armées romaines, celles des Francs, des Wisigoths, etc...

Compte tenu de la situation géographique du site sur la commune de Saint-Georges-Ies-Baillargeaux, d'aucuns se sont laissés aller à imaginer que les occupants de ce domaine aient vu l'installation d'un hypothétique camp arabe lors de la bataille où Charles Martel fut vainqueur, en 732, à Moussais.

Après la villa romaine un hébergement fut bâti, au IX^ème siècle, par l'abbé de Bourgueil afin d'abriter les pèlerins qui passaient sur la voie romaine pour se rendre à Saint- Jacques-de-Compostelle. Ensuite fut édifié un château fort important, au XI^ème siècle, qui fut détruit au cours de guerres successives et dont il ne subsiste que les fondations.

Un nouveau château fut construit au XIV^ème, qui fut remanié aux XV^ème, XVI^ème et XVII^ème siècles par ses différents propriétaires, le château de Vayres. Depuis il n'a pas été modifié, c'est celui que nous pouvons voir actuellement.

A l'origine donc, le château actuel présentait un caractère défensif assez marqué, comme en témoignent les meurtrières subsistant dans les tours, et la présence des mâchicoulis au-dessus de la porte d'entrée. La poterne a été remaniée dans le style Renaissance après la suppression du pont-levis, des fossés et du boulevard canonnier après 1791. La cour intérieure était fermée sur trois côtés mais l'aile nord des communs fut malheureusement détruite en 1891. Le vieux puits du XIV^ème a conservé sa charpente d'origine.

Le pigeonnier, situé à droite de la façade en contrebas du château, est un des plus grands de France existant encore, selon les Bâtiments de France. Il fut construit en 1656 sur les ordres de la reine Anne d'Autriche en remerciement aux seigneurs de Vayres, les de Gennes, pour avoir accueilli en 1650 son jeune fils Louis XIV et le cardinal Mazarin. Sa contenance est de 2620 cases ou boulins. A noter la disposition des nids par rangs alternés, l'astucieuse échelle tournante pour leur visite, la très belle charpente en ombrelle construite en bois de châtaignier flotté et les issues disposées en corbeaux (56) et non pas en lucarnes comme la plupart des pigeonniers de ce type.

A partir des jardins à la française situés en contrebas de la façade du château, nous remarquons la place importante occupée par le gros appareillage et les contreforts du mur de soutènement au bas de la terrasse. Nous sommes face à un ouvrage de défense comme l'était le ruisseau, plus bas, bordé de murs et pavé dans le fond.

Il faut souligner que Vayres fut, jusqu'à la Révolution, un fief épiscopal très important. Les seigneurs de Vayres avaient droit de haute et de basse justice. Le gibet à double potence se trouvait à l'embranchement des deux routes de Saint-Georges en face de la tour de guet.

Enfin une anecdote historique, ou une légende, aucun document n'apportant une quelconque confirmation : le village de Saint-Georges a accueilli Jeanne d'Arc et le roi Charles VII, ainsi que tout le cortège royal, la veille de leur arrivée à Poitiers. Sachant qu'à Saint-Georges, le château de Vayres était le plus vaste, il est donc probable que Jeanne, le roi et la suite royale logèrent à Vayres même.