Ludovico Pavoni nace en Brescia el 11 de septiembre de 1784, el primero de cinco hermanos, del matrimonio Alejandro y Lelia Poncarali. Vivió en una época caracterizada por profundos cambios políticos y sociales: la Revolución Francesa (1789), la Jacobina (1797), el dominio napoleónico con sus diferentes denominaciones y por fin, desde 1814, el austriaco. Pero la «política» de Ludovico Pavoni, ordenado sacerdote en 1807, fue siempre y únicamente la política del amor. Renunciando a alcanzar altos cargos eclesiásticos, a los que parecía estar llamado cuando el obispo Monseñor Gabrio
María Nava le quiere como su secretario (1812), supo dedicarse con creatividad generosa a quien tenía más necesidad: los jóvenes y entre éstos los más pobres. Para ellos abrió un centro formativo, su «Oratorio» (1812). Al mismo tiempo, se entregaba, como destacará el Obispo, «en apoyo de los párrocos para instruir, catequizar por medio de homilías, de catequesis, de ejercicios espirituales, sobre todo a la juventud y especialmente a la más pobre que tenía mayor necesidad, con muy buenos resultados». El 16 de marzo de 1818 es nombrado Canónigo de la Catedral y se le confia la rectoría de la Basílica de San Bernabé.
Notando, entonces, que muchos de los chicos de su Oratorio, sobre todo los pobres, decaían en su empeño y se desviaban del buen camino, cuando tenían que insertarse en el mundo del trabajo, que por desgracia no garantizaba un sano ambiente moral y cristiano, Ludovico Pavoni decide fundar «un Instituto o Escuela de Artes de carácter benéfico y privado, donde al menos los huérfanos, o abandonados por sus propios padres fuesen acogidos, mantenidos gratuitamente, educados cristianamente, y capacitados para desempeñar alguna arte, a fin de formarles queridos para la religión, y útiles para la sociedad y el Estado». Nace así, en 1821, el Instituto de San Bernabé.
Entre las artes, la más importante fue la tipografia, querida por Pavoni como «Escuela Tipográfica», que se puede considerar la primera Escuela gráfica de Italia y que pronto llega a ser una verdadera Casa Editorial. Con el paso del tiempo se multiplican los oficios enseñados en San Bernabé: en 1831, Pavoni detalla ocho oficios existentes: tipografia, encuadernación de libros, papelería, plateros, cerrajeros, carpinteros, torneros, zapateros.
El Instituto de San Bernabé unía por primera vez el aspecto educativo, el asistencial y el profesional, pero la fisonomía más profunda, «la idea característica» del nuevo Instituto era que «los muchachos pobres, abandonados por sus padres y sus parientes más cercanos, encontrasen todo lo que habían perdido: ... no solamente... pan, vestido y educación en las letras y las artes, sino también el padre y la madre, la familia, de los cuales la mala suerte les ha privado, y con el padre, la madre, la familia todo lo que un pobre podía recibir y gozar».
Durante el cólera de 1836, «con una simple invitación municipal, y sin la esperanza de recibir ninguna contribución económica, son acogidos gratuitamente en el Pío instituto, alimentados y educados con verdadero amor paterno. ... muchos, y muchos muchachos aun incapaces». Así se lee en las actas de la reunión extraordinaria del Municipio de Brescia del 21 de agosto de 1841.
Pavoni pensó también en los labradores y proyectó una Escuela Agrícola. En 1841, acoge en el Instituto a los sordomudos. El 3 de junio de 1844 era condecorado por el Emperador de Austria con el título de Caballero de la Corona de hierro.
Para sostener y continuar el Instituto, Ludovico Pavoni ya desde hacía tiempo andaba madurando la idea de formar con sus jóvenes más fervorosos «una Congregación, que unida con los estrechos vínculos de la caridad, y basada en las virtudes evangélicas, se consagrase a acoger y a educar a los muchachos abandonados, y dilatase gratuitamente sus cuidados también a favor de las casas de industria, que quizá por falta de maestros sabios y hábiles en las artes, sienten prejuicios, y agravios»: así ya en 1825 escribía al Emperador Francisco I, de visita en Brescia.
Obtenido el elogio del fin de la Congregación, con decreto del 31 de marzo de 1843 de parte del papa Gregorio XVI, llega por fin la aprobación imperial el 9 de diciembre de 1846.
Monseñor Luchi, Vicario General Capitular, haciendo uso de la facultad otorgada por la Santa Sede, erige canónicamente la Congregación de los Hijos de Maria, el 11 de agosto de 1847. Después de haber dado formalmente el 29 de noviembre las dimisiones del Capítulo de la Catedral, el 8 de diciembre de 1847, solemnidad de la Inmaculada, Pavoni emite su profesión perpetua.
Acerca de la fisonomía de la nueva familia religiosa, los contemporáneos reconocen unánimemente la novedad y la originalidad, pues se compone de religiosos sacerdotes para la dirección espiritual, disciplinar y administrativa de la obra y de religiosos laicos para llevar adelante los talleres y la educación de los jóvenes. Aparece así la nueva figura del religioso trabajador y educador: el hermano coadjutor pavoniano, insertado directamente en la misión específica de la Congregación, con igualdad de derechos y de deberes con los sacerdotes.
El día después de estallar la insurrección contra los austríacos, llamada de «los Diez Días», el sábado 24 de marzo de 1849, Ludovico Pavoni acompañaba a sus muchachos a la colina de Salano, a doce kilómetros de Brescia, para ponerlos a salvo del saqueo y de los incendios causados por la revuelta, que justo en la plaza de San Bernabé había montado una barricada. No muy bien de salud, el 26 de marzo se agrava y al amanecer del 1 de abril de 1849, domingo de Ramos, muere.