Under tidig medeltid tillhörde Djulö Fogdö kloster, men genom ett markskifte 1334 erhöll riddaren och riksrådet Sigge Magnusson från Lagmansö ägorna. Hans dotter Ingrid Siggesdotter föddes år 1350, dvs när digerdöden härjade som värst. Hon gifte sig så småningom med riddaren Peter Porse Geet och de använde Djulö som sätesgård på 1380-talet vilket innebar att det alltså var där de i huvudsak bodde. Vid Trolleträsk finns en källarruin (ca 10 x 14 m) kvar från Peters och Ingrids tid: