Kreenholmi Manufaktuur rajati hõreda asustusega maakohta, Joala mõisa ja Joala küla aladele. Seetõttu oli kiiresti kasvava ettevõtte töötajate elamuprobleemi lahendamine kõige pakilisem ülesanne. Tuhanded töölised, kellest kaks kolmandikku olid linna saabunud eesti ja kolmandik vene talupojad, vajasid peavarju.
Esimesed tööliskasarmud ehitati puidust. Teisiti polnud võimalikki, sest kuni 1863. aastani ei olnud linnakindlustustest väljaspool lubatud midagi püsivamat rajada. Puidust tööliskasarmutest ei ole ükski säilinud. 1860. aastate lõpus ehitati kohalikust kergesti kättesaadavast paekivist esimesed kivikasarmud. Üks neist, ehitatud 1870. aastate alul, on tänini säilinud (Kalda 8). Kalda tänaval on säilinud ka kolm varasemat telliskasarmut (Kalda 4, 6 ja 10), mille ehitamise aeg ulatub 1860. aastate lõpust 1880. aastate alguseni.
1875. aastal elas 90% vabriku töölistest Kreenholmis, kuid aja jooksul Kreenholmis elavate vabrikutööliste osakaal vähenes ning enne Teist maailmasõda elas Kreenholmis vaid iga teine või kolmas tööline. Igatseti oma majakest ja selleks osteti järelmaksuga maatükk. Nii tekkisid Narva linnaosad Paemurru, Uusküla, Kulgu, Joaoru, Kadastiku, laienes ka varasem Peetri eeslinn. Kellel oma maja ehituseks raha ei olnud, said nendes eeslinnades üürida ka korteri.
Eduard Vilde kirjutas Kreenholmi kasarmutest nii, nagu ta neid mäletab 19. sajandi viimastel aastatel: “Külaline viitis aega sellega, et hakkas ruumikest, milles ta viibis, lähemalt silmitsema ning pidas aru, kuidas võisid siin viis või kuus hinge elada, kõigepealt aga magada. Pikerguses süllakitsuses ehk kahe meetri laiuses kambrikeses oli ainult kaks puuvoodit – parempoolse seina ääres, otsad vastamisi. Vastu teist seisis väike söögilaud ja madal ühe uksega riidekapp. Kaks tooli ja järi põrandal – see esindas tervet mööblivara. Mõlemad sängid olid nii kitsad, et parajasti üks inimene sisse mahtus. Villem küsis eneselt, kus siis kõik teised magavad, ning pidi pead vangutades tunnistama, et ta muud vastust ei leidnud, kui et seda siilukest põrandat, mis mõlema voodi ja laua ning kapi vahel lagedaks jäi, tarvitati ka igaöiseks magamisasemeks. Kas sängid selleks tarvilikke esemeid varjasid, jäi veel otsustamata. Juhtumisi üles lae poole vaadates märkas külamees alles nüüd, et mõlemapoolsed seinad ülalt, umbes kolme jala kõrguselt, olid lahti – ainult varjatud neljakandiliste varbadega trellide kujul. Õhu poolest seisid siis kõik korterid – terve päratu rida – üksteisega otse ühenduses. Villem mõistis nüüd, miks hääled kõrvaltubadest nii selgesti siia kostsid ja seejuures süüdi ei olnud üksnes õhukesed vaheseinad.“
Kasarmus oli lärmakas. Seda rõhutavad kõik, kes Kreenholmi elust kirjutanud. Ja mitte miski, mida räägiti, ei jäänud saladuseks. Toast tuppa oli tunda lõhnu ja röginaid, tülisid ja vandumisi. Poolikud vaheseinad ehitati kinni alles 1920.–1930. aastatel. Tubadevaheline õhuvahetus tõi endaga kaasa ka haiguste kiire leviku. Leetrid, tuberkuloos, koolera ega difteeria ei olnud Kreenholmis harvad külalised.
