Bernard de La Villardière est marié depuis 1984 à Anne de Savignac. Ensemble, ils ont eu quatre enfants : Caroline, née en 1987, Marc, né en 1988, Rémi, né en 1992, et Nicolas, né en 1993. Marc et Rémi ont accepté de se confier avec leur père auprès de La Tribune Dimanche, le 2 août dernier, pour dévoiler celui qu'il est loin des caméras. L'occasion de raconter comment ils vivent la notoriété du présentateur d'Enquête exclusive, mais aussi les nombreuses caricatures dont il fait l'objet. "La caricature est aussi la rançon du succès ! Et si on se moque un peu de lui, c'est aussi parce qu'il est une institution !", a estimé Marc. De son côté, Rémi a tenu à relativiser l'image parfois clivante associée à son père. "Mais tu n'es pas si clivant que l'on pourrait penser. On ne m'a jamais fait de remarques négatives sur le fait que tu sois mon père. Tu n'es pas un personnage politique, donc il n'y a pas de haine contre toi…", a-t-il estimé.
Bernard de La Villardière a alors rappelé à ses deux fils que, bien qu'il ne soit pas un homme politique, il a parfois été la cible d'attaques très inquiétantes. "Il y a eu des périodes plus compliquées. Des polémiques, des critiques, parfois des attaques assez violentes. Après l'assassinat du couple de policiers de Magnanville en 2016, mon nom figurait sur une liste diffusée par Daech", a-t-il raconté, avant de préciser : "J'ai été placé sous protection pendant plusieurs mois." Une période qui a également pesé sur son épouse, Anne de Savignac, comme l'a souligné Marc : "Nous n'habitions déjà plus à la maison, et je pense que ç'a été plus difficile pour notre mère."
La présence de policiers chargés de protéger l'animateur s'était forcément immiscée dans le quotidien de toute la famille. En 2021, dans le podcast Parents d'abord, celui qui possède un château en Isère avait reconnu que cette situation avait été pesante "pour la vie personnelle et l'intimité familiale". L'animateur avait néanmoins choisi d'en retenir également certains aspects positifs. "En même temps, je garde de bons souvenirs car j'ai rencontré pas mal de policiers. J'étais sous protection temporaire donc je n'avais pas toujours les mêmes policiers avec moi pour me surveiller et me garder. C'était intéressant d'échanger avec eux. Ces rencontres étaient enrichissantes", avait-il expliqué.