Skip to content

out of memory while launching PAN RGBN training --> CUDA out of memory #742

@nolwenntanads

Description

@nolwenntanads

Dans le cadre du projet DEEPZOOM CNES j'essaie de lancer les modèles (dz_phrsimus_cm_rgbn_unet_mha_deep_perc_96_1 et dz_phrsimus_gan_rgbn_unet_mha_96_1) développés pour le PAN+RGBN. En entrée, j'ai 45000 images pour le dataset d'entrainement (avec des images 5 canaux pour le x et 4 canaux pour y_true) et 11000 données pour le dataset test, de taille 512*512 pixels. Quand je lance les trainings, la permière époque tourne normalement jusqu'a la 10 000 itération puis après ca crash... Je vous joins un screen de l'erreur et de ma config.

On suppose que cela est dû à la préparation du jeu de données qui ne doit pas être le même que pour le PAN car le paramètre "data_preprocess" est à None, mais pas sur ...

Merci !

train_config_gan.json
train_config_cm.json
Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions