Picasso Diffusion 1.1 Model Card

eyecatch.jpg

Title: Welcome to Scientific Fact World.

English version is here.

ใฏใ˜ใ‚ใซ

Picasso Diffusionใฏใ€็ด„7000GPUๆ™‚้–“ใ‚’ใ‹ใ‘้–‹็™บใ—ใŸAIใ‚ขใƒผใƒˆใซ็‰นๅŒ–ใ—ใŸ็”ปๅƒ็”ŸๆˆAIใงใ™ใ€‚

ใƒฉใ‚คใ‚ปใƒณใ‚นใซใคใ„ใฆ

ใƒฉใ‚คใ‚ปใƒณใ‚นใซใคใ„ใฆใฏใ€ใ‚‚ใจใฎใƒฉใ‚คใ‚ปใƒณใ‚น CreativeML Open RAIL++-M License ใซไพ‹ๅค–ใ‚’้™คใๅ•†็”จๅˆฉ็”จ็ฆๆญขใ‚’่ฟฝๅŠ ใ—ใŸใ ใ‘ใงใ™ใ€‚ ไพ‹ๅค–ใ‚’้™คใๅ•†็”จๅˆฉ็”จ็ฆๆญขใ‚’่ฟฝๅŠ ใ—ใŸ็†็”ฑใฏๅ‰ตไฝœๆฅญ็•Œใซๆ‚ชๅฝฑ้Ÿฟใ‚’ๅŠใผใ—ใ‹ใญใชใ„ใจใ„ใ†ๆ‡ธๅฟตใ‹ใ‚‰ใงใ™ใ€‚ ๅ–ถๅˆฉไผๆฅญใซใ„ใ‚‹ๆ–นใฏๆณ•ๅ‹™้ƒจใซใ„ใ‚‹ไบบใจ็›ธ่ซ‡ใ—ใฆใใ ใ•ใ„ใ€‚ ่ถฃๅ‘ณใงๅˆฉ็”จใ™ใ‚‹ๆ–นใฏใ‚ใพใ‚Šๆฐ—ใซใ—ใชใใฆใ‚‚ไธ€่ˆฌๅธธ่ญ˜ใ‚’ๅฎˆใ‚Šใ€ใŠไฝฟใ„ใใ ใ•ใ„ใ€‚

ๆณ•ๅพ‹ใซใคใ„ใฆ

ๆœฌใƒขใƒ‡ใƒซใฏๆ—ฅๆœฌใซใฆไฝœๆˆใ•ใ‚Œใพใ—ใŸใ€‚ใ—ใŸใŒใฃใฆใ€ๆ—ฅๆœฌใฎๆณ•ๅพ‹ใŒ้ฉ็”จใ•ใ‚Œใพใ™ใ€‚ ๆœฌใƒขใƒ‡ใƒซใฎๅญฆ็ฟ’ใฏใ€่‘—ไฝœๆจฉๆณ•็ฌฌ30ๆกใฎ4ใซๅŸบใฅใใ€ๅˆๆณ•ใงใ‚ใ‚‹ใจไธปๅผตใ—ใพใ™ใ€‚ ใพใŸใ€ๆœฌใƒขใƒ‡ใƒซใฎ้…ๅธƒใซใคใ„ใฆใฏใ€่‘—ไฝœๆจฉๆณ•ใ‚„ๅˆ‘ๆณ•175ๆกใซ็…งใ‚‰ใ—ใฆใฟใฆใ‚‚ใ€ ๆญฃ็Šฏใ‚„ๅน‡ๅŠฉ็Šฏใซใ‚‚่ฉฒๅฝ“ใ—ใชใ„ใจไธปๅผตใ—ใพใ™ใ€‚่ฉณใ—ใใฏๆŸฟๆฒผๅผ่ญทๅฃซใฎ่ฆ‹่งฃใ‚’ๅพก่ฆงใใ ใ•ใ„ใ€‚ ใŸใ ใ—ใ€ใƒฉใ‚คใ‚ปใƒณใ‚นใซใ‚‚ใ‚ใ‚‹้€šใ‚Šใ€ๆœฌใƒขใƒ‡ใƒซใฎ็”Ÿๆˆ็‰ฉใฏๅ„็จฎๆณ•ไปคใซๅพ“ใฃใฆๅ–ใ‚Šๆ‰ฑใฃใฆไธ‹ใ•ใ„ใ€‚

ไฝฟใ„ๆ–น

ๆ‰‹่ปฝใซๆฅฝใ—ใฟใŸใ„ๆ–นใฏใ€ใ“ใกใ‚‰ใฎSpaceใ‚’ใŠไฝฟใ„ใใ ใ•ใ„ใ€‚ ใƒขใƒ‡ใƒซใฏsafetensorsๅฝขๅผใ‚„ckptๅฝขๅผใ‹ใ‚‰ใƒ€ใ‚ฆใƒณใƒญใƒผใƒ‰ใงใใพใ™ใ€‚

ไปฅไธ‹ใ€ไธ€่ˆฌ็š„ใชใƒขใƒ‡ใƒซใ‚ซใƒผใƒ‰ใฎๆ—ฅๆœฌ่ชž่จณใงใ™ใ€‚

ใƒขใƒ‡ใƒซ่ฉณ็ดฐ

  • ใƒขใƒ‡ใƒซใ‚ฟใ‚คใƒ—: ๆ‹กๆ•ฃใƒขใƒ‡ใƒซใƒ™ใƒผใ‚นใฎ text-to-image ็”Ÿๆˆใƒขใƒ‡ใƒซ

  • ่จ€่ชž: ๆ—ฅๆœฌ่ชž

  • ใƒฉใ‚คใ‚ปใƒณใ‚น: CreativeML Open RAIL++-M-NC License

  • ใƒขใƒ‡ใƒซใฎ่ชฌๆ˜Ž: ใ“ใฎใƒขใƒ‡ใƒซใฏใƒ—ใƒญใƒณใƒ—ใƒˆใซๅฟœใ˜ใฆ้ฉๅˆ‡ใช็”ปๅƒใ‚’็”Ÿๆˆใ™ใ‚‹ใ“ใจใŒใงใใพใ™ใ€‚ใ‚ขใƒซใ‚ดใƒชใ‚บใƒ ใฏ Latent Diffusion Model ใจ OpenCLIP-ViT/H ใงใ™ใ€‚

  • ่ฃœ่ถณ:

  • ๅ‚่€ƒๆ–‡็Œฎ:

    @InProceedings{Rombach_2022_CVPR,
        author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
        title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
        booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
        month     = {June},
        year      = {2022},
        pages     = {10684-10695}
    }
    

ใƒขใƒ‡ใƒซใฎไฝฟ็”จไพ‹

Stable Diffusion v2ใจๅŒใ˜ไฝฟใ„ๆ–นใงใ™ใ€‚ ใŸใใ•ใ‚“ใฎๆ–นๆณ•ใŒใ‚ใ‚Šใพใ™ใŒใ€๏ผ’ใคใฎใƒ‘ใ‚ฟใƒผใƒณใ‚’ๆไพ›ใ—ใพใ™ใ€‚

  • Web UI
  • Diffusers

Web UIใฎๅ ดๅˆ

Stable Diffusion v2 ใฎไฝฟใ„ๆ–นใจๅŒใ˜ใใ€ckptๅฝขๅผใ€ใพใŸใฏsafetensorๅฝขๅผใฎใƒขใƒ‡ใƒซใƒ•ใ‚กใ‚คใƒซใจyamlๅฝขๅผใฎ่จญๅฎšใƒ•ใ‚กใ‚คใƒซใ‚’ใƒขใƒ‡ใƒซใƒ•ใ‚ฉใƒซใƒ€ใซๅ…ฅใ‚Œใฆใใ ใ•ใ„ใ€‚ ่ฉณใ—ใ„ใ‚คใƒณใ‚นใƒˆใƒผใƒซๆ–นๆณ•ใฏใ€ใ“ใกใ‚‰ใฎ่จ˜ไบ‹ใ‚’ๅ‚็…งใ—ใฆใใ ใ•ใ„ใ€‚ ใชใŠใ€xformersใ‚’ใ‚คใƒณใ‚นใƒˆใƒผใƒซใ—ใ€--xformers --disable-nan-checkใ‚ชใƒ—ใ‚ทใƒงใƒณใ‚’ใ‚ชใƒณใซใ™ใ‚‹ใ“ใจใ‚’ใŠใ™ใ™ใ‚ใ—ใพใ™ใ€‚ใใ†ใงใชใ„ๅ ดๅˆใฏ--no-halfใ‚ชใƒ—ใ‚ทใƒงใƒณใ‚’ใ‚ชใƒณใซใ—ใฆใใ ใ•ใ„ใ€‚

Diffusersใฎๅ ดๅˆ

๐Ÿค—'s Diffusers library ใ‚’ไฝฟใฃใฆใใ ใ•ใ„ใ€‚

ใพใšใฏใ€ไปฅไธ‹ใฎใ‚นใ‚ฏใƒชใƒ—ใƒˆใ‚’ๅฎŸ่กŒใ—ใ€ใƒฉใ‚คใƒ–ใƒฉใƒชใ‚’ใ„ใ‚Œใฆใใ ใ•ใ„ใ€‚

pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate scipy

ๆฌกใฎใ‚นใ‚ฏใƒชใƒ—ใƒˆใ‚’ๅฎŸ่กŒใ—ใ€็”ปๅƒใ‚’็”Ÿๆˆใ—ใฆใใ ใ•ใ„ใ€‚

from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler
import torch

model_id = "alfredplpl/picasso-diffusion-1-1"

scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "anime, masterpiece, a portrait of a girl, good pupil, 4k, detailed"
negative_prompt="deformed, blurry, bad anatomy, bad pupil, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, poorly drawn hands, bad hands, fused fingers, messy drawing, broken legs censor, low quality, mutated hands and fingers, long body, mutation, poorly drawn, bad eyes, ui, error, missing fingers, fused fingers, one hand with more than 5 fingers, one hand with less than 5 fingers, one hand with more than 5 digit, one hand with less than 5 digit, extra digit, fewer digits, fused digit, missing digit, bad digit, liquid digit, long body, uncoordinated body, unnatural body, lowres, jpeg artifacts, 3d, cg, text, japanese kanji"
images = pipe(prompt,negative_prompt=negative_prompt, num_inference_steps=20).images
images[0].save("girl.png")

ๆณจๆ„:

  • xformers ใ‚’ไฝฟใ†ใจๆ—ฉใใชใ‚Šใพใ™ใ€‚
  • GPUใ‚’ไฝฟใ†้š›ใซGPUใฎใƒกใƒขใƒชใŒๅฐ‘ใชใ„ไบบใฏ pipe.enable_attention_slicing() ใ‚’ไฝฟใฃใฆใใ ใ•ใ„ใ€‚

ๆƒณๅฎšใ•ใ‚Œใ‚‹็”จ้€”

  • ่‡ชๅทฑ่กจ็พ
    • ใ“ใฎAIใ‚’ไฝฟใ„ใ€ใ€Œใ‚ใชใŸใ€ใ‚‰ใ—ใ•ใ‚’็™บไฟกใ™ใ‚‹ใ“ใจ
  • ็”ปๅƒ็”ŸๆˆAIใซ้–ขใ™ใ‚‹ๅ ฑ้“
    • ๅ…ฌๅ…ฑๆ”พ้€ใ ใ‘ใงใชใใ€ๅ–ถๅˆฉไผๆฅญใงใ‚‚ๅฏ่ƒฝ
      • ็”ปๅƒๅˆๆˆAIใซ้–ขใ™ใ‚‹ๆƒ…ๅ ฑใ‚’ใ€Œ็Ÿฅใ‚‹ๆจฉๅˆฉใ€ใฏๅ‰ตไฝœๆฅญ็•Œใซๆ‚ชๅฝฑ้Ÿฟใ‚’ๅŠใผใ•ใชใ„ใจๅˆคๆ–ญใ—ใŸใŸใ‚ใงใ™ใ€‚ใพใŸใ€ๅ ฑ้“ใฎ่‡ช็”ฑใชใฉใ‚’ๅฐŠ้‡ใ—ใพใ—ใŸใ€‚
  • ็ ”็ฉถ้–‹็™บ
    • DiscordไธŠใงใฎใƒขใƒ‡ใƒซใฎๅˆฉ็”จ
      • ใƒ—ใƒญใƒณใƒ—ใƒˆใ‚จใƒณใ‚ธใƒ‹ใ‚ขใƒชใƒณใ‚ฐ
      • ใƒ•ใ‚กใ‚คใƒณใƒใƒฅใƒผใƒ‹ใƒณใ‚ฐ๏ผˆ่ฟฝๅŠ ๅญฆ็ฟ’ใจใ‚‚๏ผ‰
        • DreamBooth ใชใฉ
      • ไป–ใฎใƒขใƒ‡ใƒซใจใฎใƒžใƒผใ‚ธ
    • ๆœฌใƒขใƒ‡ใƒซใฎๆ€ง่ƒฝใ‚’FIDใชใฉใง่ชฟในใ‚‹ใ“ใจ
    • ๆœฌใƒขใƒ‡ใƒซใŒStable Diffusionไปฅๅค–ใฎใƒขใƒ‡ใƒซใจใฏ็‹ฌ็ซ‹ใงใ‚ใ‚‹ใ“ใจใ‚’ใƒใ‚งใƒƒใ‚ฏใ‚ตใƒ ใ‚„ใƒใƒƒใ‚ทใƒฅ้–ขๆ•ฐใชใฉใง่ชฟในใ‚‹ใ“ใจ
  • ๆ•™่‚ฒ
    • ็พŽๅคง็”Ÿใ‚„ๅฐ‚้–€ๅญฆๆ ก็”Ÿใฎๅ’ๆฅญๅˆถไฝœ
    • ๅคงๅญฆ็”Ÿใฎๅ’ๆฅญ่ซ–ๆ–‡ใ‚„่ชฒ้กŒๅˆถไฝœ
    • ๅ…ˆ็”ŸใŒ็”ปๅƒ็”ŸๆˆAIใฎ็พ็Šถใ‚’ไผใˆใ‚‹ใ“ใจ
  • Hugging Face ใฎ Community ใซใ‹ใ„ใฆใ‚ใ‚‹็”จ้€”
    • ๆ—ฅๆœฌ่ชžใ‹่‹ฑ่ชžใง่ณชๅ•ใ—ใฆใใ ใ•ใ„

ๆƒณๅฎšใ•ใ‚Œใชใ„็”จ้€”

  • ็‰ฉไบ‹ใ‚’ไบ‹ๅฎŸใจใ—ใฆ่กจ็พใ™ใ‚‹ใ‚ˆใ†ใชใ“ใจ
  • ๅŽ็›ŠๅŒ–ใ•ใ‚Œใฆใ„ใ‚‹YouTubeใชใฉใฎใ‚ณใƒณใƒ†ใƒณใƒ„ใธใฎไฝฟ็”จ
  • ๅ•†็”จใฎใ‚ตใƒผใƒ“ใ‚นใจใ—ใฆ็›ดๆŽฅๆไพ›ใ™ใ‚‹ใ“ใจ
  • ๅ…ˆ็”Ÿใ‚’ๅ›ฐใ‚‰ใ›ใ‚‹ใ‚ˆใ†ใชใ“ใจ
  • ใใฎไป–ใ€ๅ‰ตไฝœๆฅญ็•Œใซๆ‚ชๅฝฑ้Ÿฟใ‚’ๅŠใผใ™ใ“ใจ

ไฝฟ็”จใ—ใฆใฏใ„ใ‘ใชใ„็”จ้€”ใ‚„ๆ‚ชๆ„ใฎใ‚ใ‚‹็”จ้€”

  • ใƒ‡ใ‚ธใ‚ฟใƒซ่ด‹ไฝœ (Digital Forgery) ใฏๅ…ฌ้–‹ใ—ใชใ„ใงใใ ใ•ใ„๏ผˆ่‘—ไฝœๆจฉๆณ•ใซ้•ๅใ™ใ‚‹ใŠใใ‚Œ๏ผ‰
    • ็‰นใซๆ—ขๅญ˜ใฎใ‚ญใƒฃใƒฉใ‚ฏใ‚ฟใƒผใฏๅ…ฌ้–‹ใ—ใชใ„ใงใใ ใ•ใ„๏ผˆ่‘—ไฝœๆจฉๆณ•ใซ้•ๅใ™ใ‚‹ใŠใใ‚Œ๏ผ‰
  • ไป–ไบบใฎไฝœๅ“ใ‚’็„กๆ–ญใงImage-to-Imageใ—ใชใ„ใงใใ ใ•ใ„๏ผˆ่‘—ไฝœๆจฉๆณ•ใซ้•ๅใ™ใ‚‹ใŠใใ‚Œ๏ผ‰
  • ใ‚ใ„ใ›ใค็‰ฉใ‚’้ ’ๅธƒใ—ใชใ„ใงใใ ใ•ใ„ (ๅˆ‘ๆณ•175ๆกใซ้•ๅใ™ใ‚‹ใŠใใ‚Œ๏ผ‰
    • ใ„ใ‚ใ‚†ใ‚‹ๆฅญ็•ŒใฎใƒžใƒŠใƒผใ‚’ๅฎˆใ‚‰ใชใ„ใ‚ˆใ†ใชใ“ใจ
  • ไบ‹ๅฎŸใซๅŸบใฅใ‹ใชใ„ใ“ใจใ‚’ไบ‹ๅฎŸใฎใ‚ˆใ†ใซ่ชžใ‚‰ใชใ„ใ‚ˆใ†ใซใ—ใฆใใ ใ•ใ„๏ผˆๅจๅŠ›ๆฅญๅ‹™ๅฆจๅฎณ็ฝชใŒ้ฉ็”จใ•ใ‚Œใ‚‹ใŠใใ‚Œ๏ผ‰
    • ใƒ•ใ‚งใ‚คใ‚ฏใƒ‹ใƒฅใƒผใ‚น

ใƒขใƒ‡ใƒซใฎ้™็•Œใ‚„ใƒใ‚คใ‚ขใ‚น

ใƒขใƒ‡ใƒซใฎ้™็•Œ

  • ๆ‹กๆ•ฃใƒขใƒ‡ใƒซใ‚„ๅคง่ฆๆจก่จ€่ชžใƒขใƒ‡ใƒซใฏใ€ใ„ใพใ ใซๆœช็Ÿฅใฎ้ƒจๅˆ†ใŒๅคšใใ€ใใฎ้™็•Œใฏๅˆคๆ˜Žใ—ใฆใ„ใชใ„ใ€‚

ใƒใ‚คใ‚ขใ‚น

  • ๆ‹กๆ•ฃใƒขใƒ‡ใƒซใ‚„ๅคง่ฆๆจก่จ€่ชžใƒขใƒ‡ใƒซใฏใ€ใ„ใพใ ใซๆœช็Ÿฅใฎ้ƒจๅˆ†ใŒๅคšใใ€ใƒใ‚คใ‚ขใ‚นใฏๅˆคๆ˜Žใ—ใฆใ„ใชใ„ใ€‚

ๅญฆ็ฟ’

ๅญฆ็ฟ’ใƒ‡ใƒผใ‚ฟ

Danbooruใชใฉใฎ็„กๆ–ญ่ปข่ผ‰ใ‚ตใ‚คใƒˆใ‚’้™คใใ€ๅ›ฝๅ†…ๆณ•ใซๆบ–ๆ‹ ใ—ใŸใƒ‡ใƒผใ‚ฟใจใƒขใƒ‡ใƒซใ€‚

ๅญฆ็ฟ’ใƒ—ใƒญใ‚ปใ‚น

  • ใƒใƒผใƒ‰ใ‚ฆใ‚งใ‚ข: A100 80GB, V100

่ฉ•ไพก็ตๆžœ

็ฌฌไธ‰่€…ใซใ‚ˆใ‚‹่ฉ•ไพกใ‚’ๆฑ‚ใ‚ใฆใ„ใพใ™ใ€‚

็’ฐๅขƒใธใฎๅฝฑ้Ÿฟ

  • ใƒใƒผใƒ‰ใ‚ฆใ‚งใ‚ขใ‚ฟใ‚คใƒ—: A100 80GB, V100
  • ไฝฟ็”จๆ™‚้–“๏ผˆๅ˜ไฝใฏๆ™‚้–“๏ผ‰: 7000
  • ๅญฆ็ฟ’ใ—ใŸๅ ดๆ‰€: ๆ—ฅๆœฌ

ๅ‚่€ƒๆ–‡็Œฎ

@InProceedings{Rombach_2022_CVPR,
    author    = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
    title     = {High-Resolution Image Synthesis With Latent Diffusion Models},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {10684-10695}
}

*ใ“ใฎใƒขใƒ‡ใƒซใ‚ซใƒผใƒ‰ใฏ Stable Diffusion v2 ใซๅŸบใฅใ„ใฆๆ›ธใ‹ใ‚Œใพใ—ใŸใ€‚

Downloads last month
114
Inference Providers NEW
Examples

Spaces using aipicasso/picasso-diffusion-1-1 100