Gregorio nació en Roma; fue un hombre notable por su piedad y observancia regular. Debido a esto, el papa san Sergio I lo ordenó subdiácono. Bajo los cuatro papas siguientes fue tesorero de la iglesia, y después bibliotecario encargado de comisiones importantes. Eran tan grandes su sabiduría e ilustración, que fue elegido para acompañar al papa Constantino a Constantinopla, cuando éste fue convocado para discutir con el emperador Justiniano II ciertas dificultades y diferencias que se habían presentado en el Concilio de Trullo, en 692. A la muerte de Constantino, Gregorio fue elegido papa y consagrado en 715.
Dirigió su celo infatigable y vigilante a extirpar las herejías que pululaban y llevar al cabo una reforma de costumbres. Convocó varios sínodos en los cuales se formularon reglamentos disciplinares que promovían la moralidad y reprimían toda clase de abusos. Hizo levantar nuevamente gran parte de las murallas de Roma contra los lombardos, y restauró muchas iglesias. Tenía sumo cuidado de los enfermos y ancianos; reconstruyó un asilo de ancianos y el gran monasterio que está cerca de la iglesia de San Pablo en Roma; después de la muerte de su madre en el 718, convirtió su casa en el monasterio de Santa Águeda. Ayudó a restablecer la abadía de Monte Casino, a la cual envió al abad san Petronax para que la gobernara, ciento cuarenta años después de que la misma había sido reducida a escombros por los lombardos. San Gregorio envió misioneros para predicar la fe de Cristo en Alemania, y consagró obispos a san Corbiniano y san Bonifacio. En su tiempo, los peregrinos ingleses que iban a Roma aumentaron a tal punto, que fue necesario dedicar una iglesia, un cementerio y una escuela para ellos.
Sin embargo, en los asuntos con el emperador León III fue donde Gregorio desplegó más su fuerza y magnanimidad. León ordenó la destrucción de las sagradas imágenes y puso en vigor sus edictos de persecución. San Germán y otros prelados del Oriente trataron de disuadirlo, pero encontrándolo obstinado, rehusaron obedecer y apelaron al papa. Gregorio por mucho tiempo continuó empleando súplicas y razones, a la vez que animaba vigorosamente al pueblo de Italia a mantenerse leal a su príncipe. Cuando estallaron las rebeliones en Sicilia, Ravena y Venecia, se opuso eficazmente a ellas; simultáneamente alentaba con sus cartas a los pastores de la Iglesia para que resistieran la herejía que el emperador trataba de establecer por la violencia. San Gregorio II fue papa por quince años; murió en el año 731.
Fuentes abundantes sobre la vida del papa Gregorio II, se encuentran en Lives of the Popes, de H. K. Mann, vol. I, pt. 2, pp. 141-142. El Líber Pontificalis, Pablo el Diácono, Beda, Teófanes y Andrea Dándolo, junto con Juan el Diácono (Sagorninus) y las cartas de san Bonifacio, que son las más importantes.