Parafia pw. św. Floriana została wydzielona z parafii Chorzele i erygowana w 1916 r. przez Abpa A.J. Nowowiejskiego. Wcześniej istniała w Jednorożcu samodzielna administracja duszpasterska. Bullą „Totus Tuus Poloniae Populus” Papieża Jana Pawła II z 25.03.1992 r. parafia Jednorożec została włączona do Diecezji łomżyńskiej z Diecezji płockiej.
W miejsce drewnianego kościoła filialnego, który spłonął w 1914 r., rozpoczęto w 1918 r. budowę kościoła drewnianego wg projektu W. Ferenca staraniem ks. K. Lewandowskiego. W latach 1983-1986 wybudowano kościół murowany pw. Narodzenia NMP staraniem ks. Mariana Mecha. Kościół poświęcony 9.11.1991 r. przez Biskupa płockiego Zygmunta Kamińskiego.
Liczba wiernych: 2873