Или это задание получено до начала РДП сессии, а после окончания счёта всё отвалиться?
Как выяснилось, слот под GPU обязательно надо создавать с консоли - при создании слота через RDP строго отваливается "по нестабильности". А когда слот уже создан, - да сколько угодно заходи/выходи, оно считает себе, отправляет результаты и получает новые задания...

То есть, как раз штатно "выходить" с закрытием сессии не надо, надо бросать сессию незакрытой и потом, если надо, снова к ней цепляться...