Når alt er av papir består av kapitler bygd opp som skolelekser. Hvert kapittel har et tema og et fag, i tillegg til en kort innledning. Hvert avsnitt skildrer et av hovedpersonens minner, og starter med "Jeg husker". Minnene er fra oppveksten på en gård, det midlertidige huset moren etterhvert flytter til, og huset i byen hvor den nye pappaen bor. Etter hvert flytter fortelleren også ut, drar på folkehøyskole og begynner å studere. Hovedpersonen opplever å vokse opp samtidig som gården og faren stadig forfaller.
De mange minnene er både såre og fine, og handler om uvanlige julaftener, rampete sauer, skumle netter, kjedelige skoletimer, intrikate papirklipp, slemme barneskolevenner, ekle kollektiv og en slitsom lillebror. Når alt er av papir knyttes sammen, fra start til slutt, av en telefonsamtale med lillebroren. Han deler mange av minnene med sin søster, og blir et plutselig anker i alt kaoset.