Первоначально в пороховых складах крепости, а затем в овощных складах и конюшнях, за валами ее северной стороны, был создан лагерь для советских военнопленных «Шталаг-340». На воротах лагеря висел плакат с изображением палки и надписью «Вот твой господин!». Под ним на черной доске ежедневно записывалась дата и регистрировалось количество пленных, находившихся в лагере.
Содержание военнопленных было ужасным: помещения не отапливались, прогнившие крыши не спасали от дождя. Узников морили голодом, подвергали пыткам и издевательствам, отправляли на непосильные работы, осуществляли массовые расстрелы. В лагере свирепствовали эпидемии. Зимой 1942-1943 гг. во время эпидемии сыпного тифа смертность в лагере достигала до 900 человек в день.

Охрана «Шталага-340» была весьма продуманной, и поэтому побег из лагеря был практически невозможен. Побеги совершались лишь во время работы за пределами лагеря, были среди них и удавшиеся. Многие узники, оставшиеся в живых, обязаны жизнью такому же, как они, узнику врачу-хирургу А.Гибрадзе. Работая в лагерном лазарете, он облегчал страдания раненых, а также задерживал сведения об умерших, позволяя тем самым 3-4 дня получать лишний паек и поддерживать наиболее ослабевших пленных. Также в его «операционной» проходили тайные совещания по организации побегов.
С сентября по октябрь 1942 года узником концлагеря «Шталаг-340» был известный татарский поэт Муса Джалиль.

Чтобы скрыть следы своих злодеяний, перед бегством из Даугавпилса, фашисты согнали в подвалы крепостного собора оставшихся в живых узников лагеря и взорвали собор, уничтожив многих людей и выдающийся памятник архитектуры.

С 26 ноября по 1 декабря 1944 г. в Погулянском лесу и в крепости работала комиссия по расследованию фашистских злодеяний, которая произвела эксгумацию останков погибших в местах массовых расстрелов и установила, что в лагере для военнопленных отсутствовали элементарные условия для поддержания человеческой жизни, что являлось грубым нарушением Гаагской (1907 г.) и Женевской (1929 г.) конвенций о военнопленных.