Na początku XIX w. powstała wieś Majdan, a w 1882 r. z części jej gruntów zwanych Ostrowiem wyłoniła się kolejna miejscowość o tej samie nazwie, którą po kilku latach zmieniono na Ostrówek. Rozwój tej osady łączy się z przeniesieniem tutaj z Tartaku Baczkowskiego w 1884 r. odlewni żeliwa „Morfeusz” oraz z lokalizacją w 1899 r. fabryki wyrobów żelaznych „Ostrówek” przez żydowskiego przemysłowca Leona Loewensteina.
Pierwsze starania o budowę kaplicy podjęli mieszkańcy Ostrówka i Majdanu razem z przesiedleńcami z Poznańskiego w latach II wojny światowej. Na przełomie 1944 i 1945 r. kaplicę zamierzał wystawić miejscowy fabrykant Władysław Loewenstein-Lewandowski, ale upaństwowienie zakładu rozwiało jego plany. W latach 1946-47 ks. Józef Andrzejuk (1898-1976), rektor kościoła z Ogrodnik (1946-1964), próbował przenieść stamtąd do Ostrówka organizowaną wówczas filię duszpasterską, ale wszystkie starania nie powiodły się. Podobnie stało się w 1950 r., kiedy został powołany nawet Komitet Budowy i wyznaczony budynek oraz plac na cmentarz grzebalny.
Dopiero w 1971 r. ks. Henryk Bujnik, proboszcz parafii Kamionna (w latach 1965-1982), zorganizował kaplicę dojazdową w byłym warsztacie należącym do rodziny Chojeckich, który od 1970 r. służył jako salka katechetyczna. Pierwsza Msza św. została odprawiona 14 marca 1971 r., pomimo wielu szykan ze strony Urzędu Bezpieczeństwa i Milicji Obywatelskiej. W 1976 r. zakupiono od dotychczasowych właścicieli budynek i przylegający plac. Po wielu staraniach 2 czerwca 1980 r. rozpoczęto budowę nowej kaplicy, pod kierunkiem wspomnianego ks. Henryka Bujnika. Pierwszą Mszę św. - pasterkę w nowej kaplicy odprawił 25 grudnia 1980 r. ks. Henryk Bujnik. 9 sierpnia 1981 r. została ona poświęcona przez Jana Mazura, biskupa siedleckiego, czyli podlaskiego (1968-1996) i otrzymała wezwanie Najświętszej Maryi Panny Królowej Polski.
1 września 1991 r. bp Jan Mazur powołał do istnienia parafię w Ostrówku, włączając do niej wsie: Majdan i Łojew. Pierwszym proboszczem został ks. Jan Miłosz (proboszcz w latach 1991-1994). Obecny proboszcz Andrzej Kiersnowski kontynuował prace przy ogrodzeniu cmentarza, który 11 listopada 1994 r. został poświęcony przez Antoniego P. Dydycza, biskupa drohiczyńskiego.
Naprzeciwko kościoła, po drugiej stronie drogi stoi nowa, piętrowa plebania, zbudowana w latach 1995-2002 staraniem wspomnianego ks. Andrzeja Kiersnowskiego.

Porządek Mszy św.:
- niedziele i święta:
- kościół parafialny: 8.30, 11.00, 17.00
- święta niebędące dniami wolnymi od pracy:
- kościół parafialny: 11.00, 18.00

Odpust w parafii: Matki Bożej Królowej Polski - 3 maja

Nabożeństwo adoracyjne: pierwszy piątek - niedziela października

Księgi metrykalne:
Księgi Chrztów: od 1991 r.
Księgi Małżeństw: od 1991 r.
Księgi Zmarłych: od 1991 r.

Bibliografia:
Archiwum Diecezjalne w Drohiczynie. III /Q/. Akta parafii Ostrówek Węgrowski 1988-1992; S. Ulaczyk (oprac.), Rocznik Diecezji Drohiczyńskiej. Spis parafii i duchowieństwa 1999, Drohiczyn 1999.