Félagið var stofnað árið 1905 og höfðu frumkvæði að stofnun félagsins þeir Guðmundur Ólafsson kennari, er dvaldi einn vetur við kennslu á Nesjum og Benedikt Benediktsson seinna verslunarstjóri á Kálfshamarsvík. Þann 5. jan. 1913 samþykkti félagið tillögu formanns síns, B. B., að byggja fundarhús á Kálfshamarsnesi. 1 stjórn með Benedikt voru þá: Guðlaugur Eiríksson póstur og Sigurður Jónsson, bóndi, Ósi, síðar bóndi á Mánaskál. Þeir E. Hemmert verzlunarstjóri og Karl Berndsen kaupmaður, báðir á Skagaströnd, afhentu félaginu grunnlóð undir húsið endurgjaldslaust á landi, sem þeir áttu á Kálfshamarsnesi. Hófst stjórn félagsins þegar handa og réði yfirsmið að húsinu, Sigmund Benediktsson, nú bónda að Björgum. 1 september sama ár var húsið fullgert. Var það timburhús á hlöðnum grunni. Vígslufagnaður í Samkomuhúsi Nesjamanna var haldinn 19. sept. 1913. Næsta
vetur, 1913—14, var húsið lánað fyrir barnakennslu og mun barnaskólinn hafa verið þar síðan á hverjum vetri. Þetta litla félagsheimili Nesjamanna var hið fyrsta sinnar tegundar í AusturHúnavatnssýslu. Liðu meira en tveir áratugir, þar til tvö önnur æskulýðsfélög í héraðinu byggðu sín fundahús. Ber þetta framtak þeirra Nesjamanna fagurt vitni um framsýni, einhug og fórnarvilja. Samhliða bættum starfsskilyrðum fyrir félagið var barnaskólanum búinn góður samastaður. Fyrir tólf árum síðan var húsið endurbætt og stækkað verulega.
Málfundafélag Nesjamanna barðist fyrir ýmsum umbótamálum í byggðarlaginu, svo sem samgöngubótum og ræktunarframkvæmdum o. fl., sem til framfara horfði.
En hvað hamlaði því, að svona áhugaríkt og athafnasamt félag tæki þátt í heildarsamtökum æskulýðsfélaganna í héraðinu?
Einfaldlega mikil vegalengd og torsótt. Af félagssvæðinu til höfuðstöðva sambandsins á Blönduósi eru um 60 km, og leiðin ekki bílfær fyrr en á fimmta tugi aldarinnar.
Á síðari árum hafa þeir bræður Sigurður og Ólafur Pálssynir í Króksseli og Friðgeir Eiríksson bóndi, Sviðningi, skipað stjórn félagsins.
Friðgeir hefur verið í stjórninni yfir þrjátíu ár. Nú er félag Nesjamanna fámennt, því að byggðin þarna hefur eyðst mjög á síðari árum.