Жемчужиной крепости был собор, построенный иезуитами. Он был одним из лучших образцов барокко Латгалии. Его заложили одновременно с иезуитским коллегиумом.

Автор проекта неизвестен, но, по мнению некоторых исследователей, архитектором был знаменитый Франческо Бартоломео Растрелли, который в это время находился в Курземе, возводя резиденцию герцога Бирона. Архитектуру, рожденную в Италии, иезуиты перенесли на север, обогатив ее скульптурой и живописью. Строительство церкви было начато в 1737 году и завершено в 1746 году. Ее освящение состоялось на Троицу. Однако отделочные работы, в которых принимали участие многие известные художники и мастера (живописцы Ю.Гулдлфингер и Василевский, резчики по дереву М.Шульц и И.Швилл), продолжались еще в течение долгих лет. Роскошный ансамбль декора внутренних помещений собора (особенно алтаря) впоследствии служил образцом при строительстве и оформлении многих церквей Латгалии.
Судьба иезуитского костела во второй половине XVIII столетия и позднее была тесно связана с политическими событиями в крае.
После первого раздела Польши, Латгалия была присоединена к России и стала ее приграничным регионом. В связи с планами строительства оборонительных сооружений Инженерное ведомство России выкупило у иезуитов принадлежавшие им земли, здания и церковь за 300 тысяч рублей. В 1811 году решением Священного Синода православной церкви, католический храм был преобразован в гарнизонный православный собор, что вызвало изменения как в его внешнем, так и внутреннем оформлении.
В 1920-х годах, когда в крепости разместился гарнизон Латвийской армии, на церкви заменили кресты и в 1923 году освятили ее как лютеранскую церковь.

Однако в связи с тем, что в Земгальской дивизии служили воины разных национальностей, богослужения в храме проводились для трех религиозных конфессий. Церковь была разделена на три части: центральная часть – для лютеран, левый придел – для католиков и правый – для православных. Священником православной латышской общины Даугавпилсского гарнизона в 20-х годах был будущий митрополит А.Петерсонс. В 1929 году здание храма решением Управления памятниками Латвийской Республики было включено в список охраняемых государством памятников.

В 1944 году, в результате бомбардировок, собор сильно пострадал и частично был разрушен.

В 1951 году специальная комиссия пришла к выводу, что восстановить здание не представляется возможным, и оно не имеет ни хозяйственной, ни архитектурной ценности.
В 1958 году развалины собора были полностью демонтированы и убраны. Даугавпилс потерял памятник, который на протяжении двух столетий был ярким акцентом городской панорамы.