Са сигурношћу се може рећи да први записи о нашој школи датирају још из 1759. године, где се у документима аустријске царевине помиње да је Шанац Нови Карловци имао школу са магистером. Митрополит Павле Ненадовић је 1766. године обавио канонску визитацију и освештао тадашњу цркву у Новим Карловцима. Према подацима историчара школства Антуна Цуваја, те године у школи је било 15 ученика. Учитељ је био ђакон Симеон Јаков.
Аустријски подаци из тог времена такође помињу да је према попису из 1772. године у Новим Карловцима је било 40 ученика. Подаци о српским вероисповедним школама и учитељима сремско-славонске и шајкашке војне границе у 1780. години кажу да Нови Карловци (Сасе) имају школу у којој је учитељ Јован Михајловић, а школски надзорник натпоручник Франц Шмит.
Сремскокарловачки парох Василије Константиновић је обишао Сасе ( други назив за Нове Карловце) 1896. године и том приликом констатовао да школа има три школске зграде и 312 ученика.
Евидентирано је много историјских записа и других докумената који сведоче о изузетно дугој традицији и континуитету рада наше школе. Међутим, школа је за време Другог светског рата 1943. године запаљена, а у пламену је изгорела скоро цела школска архива.