Les sources concernant l'abbé Grégoire sont assez abondantes. Elles décrivent aussi bien l'homme que ses idées et permettent d'avoir une bonne idée de son allure physique. Grégoire a laissé le souvenir d'un homme de caractère fortement trempé et d'une certaine prestance.
Ses camarades d'enfance ont laissé de lui la description d'un enfant au « front large, élevé, au regard profond », décrivant « la fierté de sa démarche », mais aussi son penchant contemplatif11.
Du Grégoire adulte, outre les portraits, on a beaucoup de descriptions, doublées des interprétations de ces descriptions. L'engouement pour la physiognomonie à la fin du xviiie siècle avait conduit Grégoire à demander à son ami le pasteur Jean-Frédéric Oberlin de dresser par écrit son portrait détaillé, en 1787 : « Le front, le nez : très heureux, très productif, très ingénieux ; le front : haut et renversé, avec ce petit enfoncement : un jugement mâle, beaucoup d'esprit, point ou guère d'entêtement, prêt à écouter son adversaire ; idées claires et désir d'en avoir de tout ; le nez : witzig… spirituel, plein de bonnes réparties et de saillies heureuses, mais bien impérieux : la bouche : talent admirable d'un beau parleur, fin, moqueur, excellent satirique… c'est une bouche qui ne reste en dette avec personne et paye argent comptant ; le menton : hardi, actif, entreprenant12. »
Outre ce portrait amical (certainement flatteur), fait avant la Révolution et donc dans la jeunesse de Grégoire, on dispose d'un portrait minimal pour son passeport en 1820, lui attribuant une taille de 1,77 mètre13, des cheveux châtains et les yeux bruns, mais également du témoignage d'une lady anglaise, qui fréquente Henri Grégoire sous la Restauration, donc dans ses vieux jours : « dans son air, dans ses manières, jusque dans ses expressions une sorte d'originalité, un je ne sais quoi qui sortait de la ligne d'un caractère ordinaire. […] on remarque peu de vieillesse dans l'évêque de Blois, quoiqu'il approche de 70 ans. Ses manières vives et animées, son esprit actif et vigoureux, son extérieur intéressant et portant un grand caractère, tout en lui semble défier les ravages du temps et être inébranlable aux chocs de l'adversité14. »
« Un grand caractère » : de son vivant déjà, mais également dans l'historiographie, Grégoire est vu comme ayant un caractère très affirmé. Ses amis même le reconnaissent, comme Hippolyte Carnot qui note la ténacité, mais aussi la vive irritabilité de Grégoire15. Oberlin note que « l'acquisition de la profonde et cordiale humilité évangélique vous fera un peu de peine », façon aimable de signaler la dualité que Charles-Augustin Sainte-Beuve exprime plus clairement : « l'homme de bien, homme de colère, et souvent si loin du pardon16. »
Le caractère vif et parfois emporté de Grégoire est donc souligné, mais on met en valeur également son ouverture d'esprit (« Nous le verrons faire preuve d'un certain éclectisme », dit de lui Augustin Gazier17) et sa carrière est marquée par une extrême diversité.