Het huis is waarschijnlijk in de 15de eeuw gebouwd door Johan van de Loe (1405-1476), drost van de Liemers. Welke functie het huis heeft gehad is niet bekend, misschien controlepost voor de scheepvaart op de Rijn. Johan is de overgrootvader van Herman van de Loe. In 1558 erft Herman van zijn vader Wessel het huis. In 1565 voegt hij een toren toe aan het huis. Na Hermans dood (1569) wordt het goed een pachtboerderij. Tot 1918 verandert de Loowaard alleen door vererving van eigenaar.
