# data[].attributes.attachment_link.readable_text
Stable Diffusion is a latent text-to-image diffusion model capable of generating photo-realistic images given any text input.

The Stable-Diffusion-v-1-4 checkpoint was initialized with the weights of the Stable-Diffusion-v-1-2
checkpoint and subsequently fine-tuned on 225k steps at resolution 512x512 on "laion-aesthetics v2 5+" and 10% dropping of the text-conditioning to improve classifier-free guidance sampling.

Model Details

 @InProceedings{Rombach_2022_CVPR, author = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn}, title = {High-Resolution Image Synthesis With Latent Diffusion Models}, booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2022}, pages = {10684-10695} }

Direct Use

The model is intended for research purposes only. Possible research areas and
tasks include

Safe deployment of models which have the potential to generate harmful content.

Probing and understanding the limitations and biases of generative models.

Generation of artworks and use in design and other artistic processes.

Applications in educational or creative tools.

Research on generative models.

Excluded uses are described below.

Misuse, Malicious Use, and Out-of-Scope Use

Note: This section is taken from the DALLE-MINI model card, but applies in the same way to Stable Diffusion v1.

The model should not be used to intentionally create or disseminate images that create hostile or alienating environments for people. This includes generating images that people would foreseeably find disturbing, distressing, or offensive; or content that propagates historical or current stereotypes.

Out-of-Scope Use

The model was not trained to be factual or true representations of people or events, and therefore using the model to generate such content is out-of-scope for the abilities of this model.

Misuse and Malicious Use

Using the model to generate content that is cruel to individuals is a misuse of this model. This includes, but is not limited to:

Generating demeaning, dehumanizing, or otherwise harmful representations of people or their environments, cultures, religions, etc.

Intentionally promoting or propagating discriminatory content or harmful stereotypes.

Impersonating individuals without their consent.

Sexual content without consent of the people who might see it.

Mis- and disinformation

Representations of egregious violence and gore

Sharing of copyrighted or licensed material in violation of its terms of use.

Sharing content that is an alteration of copyrighted or licensed material in violation of its terms of use.

Limitations and Bias

Limitations

The model does not achieve perfect photorealism

The model cannot render legible text

The model does not perform well on more difficult tasks which involve compositionality, such as rendering an image corresponding to "A red cube on top of a blue sphere"

Faces and people in general may not be generated properly.

The model was trained mainly with English captions and will not work as well in other languages.

The autoencoding part of the model is lossy

The model was trained on a large-scale dataset
LAION-5B which contains adult material
and is not fit for product use without additional safety mechanisms and
considerations.

No additional measures were used to deduplicate the dataset. As a result, we observe some degree of memorization for images that are duplicated in the training data.
The training data can be searched athttps://rom1504.github.io/clip-retrieval/ to possibly assist in the detection of memorized images.

Bias

While the capabilities of image generation models are impressive, they can also reinforce or exacerbate social biases.
Stable Diffusion v1 was trained on subsets of LAION-2B(en),
which consists of images that are primarily limited to English descriptions.
Texts and images from communities and cultures that use other languages are likely to be insufficiently accounted for.
This affects the overall output of the model, as white and western cultures are often set as the default. Further, the
ability of the model to generate content with non-English prompts is significantly worse than with English-language prompts.

Training

Training Data
The model developers used the following dataset for training the model:

LAION-2B (en) and subsets thereof (see next section)

Training Procedure
Stable Diffusion v1 is a latent diffusion model which combines an autoencoder with a diffusion model that is trained in the latent space of the autoencoder. During training,

Images are encoded through an encoder, which turns images into latent representations. The autoencoder uses a relative downsampling factor of 8 and maps images of shape H x W x 3 to latents of shape H/f x W/f x 4

Text prompts are encoded through a ViT-L/14 text-encoder.

The non-pooled output of the text encoder is fed into the UNet backbone of the latent diffusion model via cross-attention.

The loss is a reconstruction objective between the noise that was added to the latent and the prediction made by the UNet.

We currently provide three checkpoints, sd-v1-1.ckpt, sd-v1-2.ckpt and sd-v1-3.ckpt,
which were trained as follows,

Evaluation Results

Evaluations with different classifier-free guidance scales (1.5, 2.0, 3.0, 4.0,
5.0, 6.0, 7.0, 8.0) and 50 PLMS sampling
steps show the relative improvements of the checkpoints:

Evaluated using 50 PLMS steps and 10000 random prompts from the COCO2017 validation set, evaluated at 512x512 resolution. Not optimized for FID scores.

Environmental Impact

Stable Diffusion v1 Estimated Emissions
Based on that information, we estimate the following CO2 emissions using the Machine Learning Impact calculator presented in Lacoste et al. (2019). The hardware, runtime, cloud provider, and compute region were utilized to estimate the carbon impact.

Hardware Type: A100 PCIe 40GB

Hours used: 150000

Cloud Provider: AWS

Compute Region: US-east

Carbon Emitted (Power consumption x Time x Carbon produced based on location of power grid): 11250 kg CO2 eq.

Citation

 @InProceedings{Rombach_2022_CVPR, author = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn}, title = {High-Resolution Image Synthesis With Latent Diffusion Models}, booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2022}, pages = {10684-10695} }
This model card was written by: Robin Rombach and Patrick Esser and is based on the DALL-E Mini model card.

# data[].attributes.attachment_link.description
Stable Diffusion is a latent text-to-image diffusion model capable of generating photo-realistic images given any text input. The Stable-Diffusion-v-1-4 checkpoint was initialized with the weights of the Stable-Diffusion-v-1-2 checkpoint and subsequently fine-tuned on 225k steps at resolution 512x512 on "laion-aesthetics v2 5+" and 10% dropping of the text-conditioning to improve classifier-free guidance sampling.

# data[].attributes.attachment_link.description
A text-to-image generative AI model that creates beautiful images

# data[].attributes.attachment_link.description
Create AI images from text with Craiyon. Generate, explore, and edit images online.

# data[].attributes.body
Prompt :

Un arbre noir et inquiétant est à côté d'une petite fille qui tient un nounours en peluche. Ambiance fantastique. photographie.

indice:

la forme en bas est indéfinissable

Mme Bousquet

# data[].attributes.attachment_link.title
FireShot Capture 300 - 4A - Informer, s'informer, déformer 2024 - padlet.com

# data[].attributes.headline
1) CREATION D'IMAGES avec l'IA générative d'images

# data[].attributes.subject
1) CREATION D'IMAGES avec l'IA générative d'images

# data[].attributes.body
CONSIGNE : publier votre image sur le PADLET avec

1) le prompt

2) le nom de l'outil IA utilisé

3) un indice qui permet de voir que c'est une image générée par l'IA et pas un dessin d'être humain ou une photographie

COMMENT RÉDIGER VOTRE PROMPT: l'IA ne sait pas lire dans vos pensées

Texte.

Préciser l'ambiance voulue ----Ambiance fantastique .

Préciser le rendu voulu ------ cinématique / réaliste / photographie / illustration / peinture / rendu 3D / affiche /graffiti

# data[].attributes.body
dans le grenier poussiéreux il y avait des têtes de morts.Graphique fantastique

indice:

Les draps sur le lit sont mal dessinés (perspective) / le rideau à droite semble à l'extérieur de la pièce / le côté gauche en haut de l'image est déformé

Amjad et Théo

# data[].attributes.body
Prompt :

une ferme réaliste sombre et abandonné avec la lune et du brouillard au sol et envahit par la nature.ambiance fantastique.photographie

Indice :

la lune est ovale, avec des formes étranges dessus / la façade de la grange est trop éclairée, la lune est derrière elle

Axel Gabriel

# data[].attributes.body
un homme dans son jardin dans la nuit. brouillard. avec de la foudre et ferme .atmosphère fantastique inquitante. photographie.

indice: une batavia au 1er plan / le personnage devrait avoir plusieurs ombres car il y a plusieurs sources lumineuses

# data[].attributes.body
Prompt:

Un homme monstrueux,avec avec des os qui lui sorte du dos, avec des membres difforme au bout d'un chemin de terre dans un brouillard épais.atmosphère fantastique,rendu photographie

indice: le personnage au second plan est déformé / le monstre semble être une image numérique alors que le 1er plan est pictural

Louis VIC et Chloé SALVAYRE

# data[].attributes.body
Ferme a la campagne avec des toiles d'araignées partout avec la pleine lune .Ambiance fantastique. Photographie

indice : la lune est malformée / le toit est éclairé alors qu'il devrait être dans l'ombre / la forêt devrait être plus lumineuse car éclairée par la lune / la porte est fusionnée avec le mur

# data[].attributes.body
Une grange inquiétante ou un garçon se trouve devant la porte ouverte. On peut y voir la pleine lune ensanglantée. Ambiance fantastique. Photographie

indice:

L'ombre du personnage n'est pas dans le bon sens / il devrait être plus éclairé / la lune est déformée / il manque la continuité du paysage dans l'encadrement de la porte en arrière-plan / lumière inexpliquée au sol devant le personnage

# data[].attributes.body
une maison dans une forêt la nuit avec un monstre

.atmosphère fantastique . photographie

indice :

le côté droit de la maison fait des vagues / une forêt semble pousser sur le toit de la maison / un trait clair vertical au dessus de l'oiseau / l'arbre du premier plan est très noir, son rendu n'est pas le même que celui du second plan.

# data[].attributes.body
vielle femme au visage ridé avec de longs cheveux.

indices:

visage déformé / les doigts fusionnent entre eux / ses rides sont en forme de tricot / le menton est inexistant / une icone "crayon" prouve que l'image a été générée par une IA nommée "Craiyon"

# data[].attributes.body
Une grange en ruine dans une nuit sombre. Seule la lune répand sa lumière. Ambiance fantastique.

indice :

la façade de la grange devrait être dans l'ombre car la source lumineuse (la lune) est derrière la grange / l'ombre de la grange est mal orientée

# data[].attributes.body
une maison qui fait peur

jawed et gabriel.C

indice : la façade de la maison devrait être dans l'ombre / une icone "crayon" prouve que l'image a été générée par une IA nommée "Craiyon"

# data[].attributes.body
Une immense forêt très sombre avec de grands arbres autour avec de très grandes branches et la lune avec un grand homme au mileux. ambiance fantastique. photographie

indice : 2 pleines lunes / la grosse lune est un peu déformée / l'eau n'est pas éclairée au bon endroit par rapport à la lune / les arbres n'ont pas d'ombres / la forêt devrait être plus éclairée

# data[].attributes.body
Une grange térrifiante soir de pleine lune.

indice : le auvent a 3 piquets / une tache lumineuse en bas à gauche inexpliquée

# data[].attributes.body
indice :

le visage est déformé / les yeux sont déformés / son bras droit est trop fin / les épaules ne sont pas symétriques / il manque un téton / une icone "crayon" prouve que l'image a été générée par une IA nommée "Craiyon"