Кренгольмская мануфактура была основана на земле малонаселенной деревни Йоала и имении с тем же названием. Поэтому решение жилищного вопроса для сотрудников быстро развивающегося предприятия было самым первоочередным делом. Прибывшие в город тысячи рабочих, две трети из которых составляли эстонцы и одна треть русские крестьяне, нуждались в жилье.
Первые рабочие казармы были построены из дерева. Других вариантов и не было, поскольку до 1863 года вне городских укреплений не разрешалось возводить постоянных построек. Ни одна из деревянных казарм не сохранилась. В конце 1860-х годов были построены первые каменные казармы из легкодоступного местного известняка. Одна из них, построенная в начале 1870-х годов, сохранилась до сих пор (Калда, 8). На улице Калда также сохранились три самые ранние кирпичные казармы (Калда, 4, 6 и 10), постройка которых датируется концом 1860-х – началом 1880-х годов.
В 1875 году 90% фабричных рабочих проживало на Кренгольме, но со временем их доля уменьшалась, и до Второй мировой войны на Кренгольме проживал только каждый второй или третий рабочий. Многие мечтали о собственном доме и покупали для этого в рассрочку участки земли. Так образовались районы Нарвы Паэмурру, Уускюла, Кулгу, Йоаору, Кадастику, расширился и бывший пригород Пеэтри. Те, у кого не было денег на строительство собственного дома, могли снять квартиру в этих пригородах.
Эдуард Вильде описывал Кренгольмские казармы такими, какими он их застал в последние годы XIX века: «Гость коротал время, оглядывая крошечное помещение, в котором он находился, и пытался представить, как здесь могут жить, а особенно спать, пять или шесть душ. В узкой двухметровой комнате было только две деревянные кровати — вдоль правой стены, друг напротив друга. Напротив второй стоял небольшой обеденный стол и низкий шкаф с одной дверцей. Два стула и табуретка – вот и всё, что было из мебели. Обе кровати были настолько узкими, что вмещали только по одному человеку. Виллем задался вопросом, где же спят все остальные, и вынужден был признать, качая головой, что не придумал ничего другого, кроме того, что крохотный участок пола, оставленный между кроватями, столом и шкафом, тоже использовался в качестве места для сна на постоянной основе. Хранятся ли необходимые для этого спальные принадлежности внутри кроватей, он ещё не понял. И только случайно взглянув вверх в сторону потолка, селянин заметил, что стены под потолком по обеим сторонам, на высоте фута три, заканчивались и отверстия были прикрыты только решетчатой перегородкой. По воздуху все квартиры — их нескончаемая цепочка — были напрямую связаны друг с другом. Теперь Виллем понял, почему голоса из соседних комнат так отчетливо доносились сюда, и что виноваты не только тонкие перегородки».
В казармах было шумно. Это подчеркивают все, кто писал о жизни Кренгольма. И ничто из сказанного не оставалось тайным. Из комнаты в комнату неслись запахи и звуки, ссоры и ругань. Полуперегородки были достроены только в 1920-1930-х годах. Воздухообмен между комнатами также приводил к быстрому распространению болезней. Корь, туберкулез, холера и дифтерия были частыми спутниками жителей Кренгольма.
