De 1474 à 1477, les guerres de Bourgogne opposent les Suisses et leurs alliés, futurs vainqueurs menés par les Bernois, au duc de Bourgogne Charles le Téméraire et à la Savoie dont Aigle fait partie. A la fin août 1475, des Bernois aidés de montagnards de la Haute Gruyère conquièrent le château d’Aigle. La rive droite du Rhône de Lavey jusqu’au lac et aux portes de Villeneuve reste bernoise et dès 1476 devient la première région francophone à être intégrée à la Confédération suisse. Berne y enverra des gouverneurs pour des mandats d’en principe six ans.

De 1479 à 1510, le château est presque entièrement reconstruit par les Bernois. L’intervention la plus importante touche les enceintes et les tours circulaires qui sont renforcées et adaptées aux exigences nouvelles de l’artillerie.
La création la plus notable est la grande tour carrée destinée davantage à l’habitation et à l’apparat qu’à la défense. Le corps de logis central est abaissé et l’intérieur est réaménagé comme l’attestent encore trois portes gothiques au premier étage ainsi que les fenêtres à croisée de pierre des façades sud et est.

Une nouvelle aile est construite dès 1584 entre la tour carrée et le corps de logis central pour y installer les appartements privés du gouverneur et de sa famille. Ce bâtiment comprend au premier niveau la salle des audiences dont le plafond est orné d’un décor de mauresques, exceptionnel par sa polychromie. Il est l’œuvre du peintre Andreas Stoss, artiste qui a aussi travaillé aux châteaux de Chillon, d’Oron, de Lucens, de Curtilles ainsi qu’à Vevey et à Berne.

La tour des Savoie et des Saillon est transformée de 1587 à 1589 en grange du château, actuelle Maison de la Dîme. Aux 17e et 18e siècles, de nombreux aménagements successifs améliorent le confort du château.
Au début des années 1630, de nombreux aménagements sont commandés par le gouverneur en fonction. Confronté au mauvais état général des bâtiments et au manque d’espace habitable pour accueillir les envoyés de Berne, il dépense une somme importante pour acheter du mobilier, aménager plusieurs pièces et en faire décorer d’autres de peintures murales. En 1669, la charpente du corps de logis central est reconstruite. A la fin du 17e siècle, le château reçoit encore d’importantes modifications dont de nouveaux décors muraux et une nouvelle chambre du banneret ornée de boiseries de style Louis XIV.

Entre 1738 et 1740, les appartements privés du gouverneur et de sa famille sont étendus à l’ensemble du premier étage qui est entièrement réorganisé. Plusieurs pièces sont dotées de boiseries, de plafonds de plâtre, de nouveaux planchers, de poêles de faïence ou de cheminées. Une nouvelle porte d’entrée donne accès au corps de logis et un escalier à deux rampes droites remplace un escalier en vis peu commode. Les façades ouest et nord reçoivent des grandes fenêtres rectangulaires.
Les cours sont alors occupées par diverses dépendances. La seule qui subsiste encore, espace d’accueil actuel, abritait des fours à pain peut-être depuis la fin du 16e siècle. Son aspect extérieur remonte au milieu du 18e siècle.