File size: 13,270 Bytes
e9b66bd
48229db
e9b66bd
3a4a7a2
48229db
 
 
e9b66bd
3a4a7a2
1bba908
d6fe29d
3a4a7a2
d515114
a5185bb
d6fe29d
3a4a7a2
 
 
 
b15be6f
010ca92
 
 
 
 
 
 
 
bcf2e3e
4bef2e7
 
 
 
 
 
 
bcf2e3e
4bef2e7
 
 
 
 
 
 
bcf2e3e
4bef2e7
 
 
 
 
 
 
bcf2e3e
4bef2e7
 
 
 
 
 
 
bcf2e3e
b15be6f
4bef2e7
 
 
 
 
b15be6f
a5185bb
 
 
 
 
fefe57d
a5185bb
 
 
 
 
 
9447927
a5185bb
b47cf64
a5185bb
 
 
 
 
 
 
6978bfc
 
 
 
 
 
 
 
 
7c5542f
ae43a46
3a5bbf1
 
55568a7
 
ae43a46
 
55568a7
04f464c
 
 
a5185bb
3a4a7a2
 
 
7491052
3a4a7a2
 
f960118
 
3a4a7a2
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
---
language: -en
license: other
tags:
- stable-diffusion
- text-to-image
datasets: nakayama/DeDeDeDataset
---
# ご利用の際は下記のライセンス内容を十分にご確認ください。
If you can read English, please refer [here](https://huggingface.co/nakayama/DeDeDe/blob/main/README-en.md).    

DeDeDeはアニメ調の人物を出力しやすいように調整されたStable Diffusionモデルです。    
ベースモデルの[DreamLike Diffusion 1.0](https://huggingface.co/dreamlike-art/dreamlike-diffusion-1.0)へ[Trinart Characters v2 Derrida](https://huggingface.co/naclbit/trinart_derrida_characters_v2_stable_diffusion) をStable Diffusion 1.4を用い差分マージしました。    
そこから[DreamLike Photoreal 1.0](https://huggingface.co/dreamlike-art/dreamlike-photoreal-1.0)でIN0~5を調節、さらに30000枚のSD2.1、Novel AI、WD1.3/1.4、CoolJapan Diffusion 2.1、Dreamlike Photoreal 2.0で出力された画像でチューニングされています。

利用の際は以下のPrompt/Negative Promptをおすすめします。    
P: best quality, masterpiece    
NP: 3d, flat shading, flat color, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb    

# 例
<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image06.png" style="max-width:400px;" width="50%"/>

```
(((best quality, masterpiece, 8k))), detailed anime style of 1girl sitting in room and reading book wearing school uniform and wavy detailed pink hair pink and detailed yellow eye yellow, smiling
Negative prompt: [[3d]], (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb
Steps: 25, Sampler: Euler a, CFG scale: 8, Seed: 2277801742, Size: 512x768, Model hash: 6d1729a039, Denoising strength: 0.75, Clip skip: 2, ENSD: 31337, Hires upscale: 1.5, Hires upscaler: Latent
```

<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image01.png" style="max-width:400px;" width="50%"/>

```
(((best quality, masterpiece, 8k))), detailed anime style of anime 1girl bust shot sitting and dipping in river and wetty wearing white transparent onepiece dress with detailed wavy pink hair pink and hetailed yellow eye yellow, water splash in gorgeous scene secret garden
Negative prompt: [[[3d]]], (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 8, Seed: 1117106368, Size: 512x768, Model hash: 6d1729a039, Denoising strength: 0.7, Clip skip: 2, ENSD: 31337, Hires resize: 768x1152, Hires steps: 5, Hires upscaler: Latent
```

<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image02.png" style="max-width:400px;" width="50%"/>

```
(((best quality, masterpiece))), detailed anime style of bunny girl bishoujo from front wearing intricate frill jirai kei bikini with detailed wavy pink hair pink and detailed yellow eye yellow and lying on the bed in (((glitter harajuku kawaii messy room with flower and candy)))
Negative prompt: 3d, (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb, eating
Steps: 50, Sampler: DPM++ SDE Karras, CFG scale: 5.5, Seed: 911018641, Size: 768x512, Model hash: 6d1729a039, Denoising strength: 0.2, Clip skip: 2, ENSD: 31337, Hires resize: 1152x768, Hires steps: 10, Hires upscaler: ESRGAN_4x
```

<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image03.png" style="max-width:400px;" width="50%"/>

```
(((best quality, masterpiece))), detailed anime style of 1girl bishoujo full body standing and looking from viewer and wearing classical frill dress with cape with wavy detailed pink hair pink and detailed yellow hair yellow in scenic view british fantastic landscape with flowing and golden hour, dynamic pose
Negative prompt: [[[[3d]]]], (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb
Steps: 15, Sampler: DPM++ SDE Karras, CFG scale: 5.5, Seed: 2149903685, Size: 768x512, Model hash: 6d1729a039, Denoising strength: 0.75, Clip skip: 2, ENSD: 31337, Hires resize: 1152x768, Hires steps: 10, Hires upscaler: Latent
```

<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image04.png" style="max-width:400px;" width="50%"/>

```
(((best quality, masterpiece, 8k))), detailed anime style of 1boy cowboy shot wearing samurai outfit with flat chest and fighting pose, fist, motion blur
Negative prompt: 3d, flat shading, flat color, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb
Steps: 20, Sampler: Euler a, CFG scale: 8, Seed: 2136917906, Size: 512x768, Model hash: 6d1729a039, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires resize: 768x1152, Hires steps: 20, Hires upscaler: Latent
```

<img src="https://huggingface.co/nakayama/DeDeDe/resolve/main/img/image05.png" style="max-width:400px;" width="50%"/>

```
(((best quality, masterpiece, 8k))), detailed photorealistic style of 1boy cowboy shot wearing mad max outfit with flat chest and fighting pose, fist, motion blur, abandoned city background
Negative prompt: (((flat shading, flat color))), retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb
Steps: 20, Sampler: Euler a, CFG scale: 8, Seed: 3787706619, Size: 768x512, Model hash: 6d1729a039, Denoising strength: 0.7, Clip skip: 2, ENSD: 31337, Hires resize: 1152x768, Hires steps: 5, Hires upscaler: Latent
```

# マージ・学習手順について
以下、モデル横に記載されている記号列は、Automatic1111 Webui コミットハッシュ c98cb0f8ecc904666f47684e238dd022039ca16f 時点での、モデル選択時に記載されているckptのハッシュ値です。
1. Dreamlike Diffusion 1.0にTrinart Derridaを差分マージする
| Interpolation Method | Primary Model | Secondary Model | Tertiary Model | Merge Name |
| --- | --- | --- | --- | --- |
| Add Difference @ 1.0 | DreamLike Diffusion 1.0(0aecbcfa2c) | TrinArt Characters v2 Derrida(42d3f359b0) | Stable Diffusion 1.4(fe4efff1e1) | DDD_pre1(d1ac03017b) |

2. DDD_pre1にDreamlike Photoreal 1.0でIN00~IN05を階層マージで編集する
| Model: A | Model: B | Weight | Base alpha | Merge Name |
| --- | --- | --- | --- | --- |
| DDD_pre1(d1ac03017b)  | Dreamlike Photoreal 1.0(f403e4e2a5) | 0.45,0.45,0.4,0.35,0.3,0.25,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 | 0 | DDD_pre2(601ec74593) |

3. DDD_pre2に対し、[自前で用意した他Diffusion Modelの出力からなる素材画像](https://huggingface.co/datasets/nakayama/DeDeDeDataset)にて学習させる    
用意の際に利用したサービス/モデルは、SD2.1、Novel AI、WD1.3/1.4、CoolJapan Diffusion 2.1、Dreamlike Photoreal 2.0。    
総数は30000程、flipしたものと合わせてlearning rateは5e-6、60000Step学習させた。    
これにより生成したモデルをDDD_pre3(4709475652)とする。    

4. DDD_pre3にDDD_pre2を加重平均でマージする
| Interpolation Method | Primary Model | Secondary Model | Merge Name |
| --- | --- | --- | --- |
| Weighted Sum @ 0.5 | DDD_pre3(4709475652) | DDD_pre2(601ec74593) | DeDeDe(6d1729a039) |

# フレーバー
## DeDeDe_ip2p_0.7_0.8.ckpt/DeDeDe_ip2p_0.7_1.0.ckpt
[Instruct pix2pix](https://huggingface.co/timbrooks/instruct-pix2pix)モデルから[タスクベクトル](https://zenn.dev/discus0434/articles/ef418a8b0b3dc0)を抽出して加算したモデルです。    
それぞれDeDeDe 0.8/Instruct Pix2Pix 0.7、DeDeDe 1.0/Instruct Pix2Pix 0.7の大きさとなります。    
以下はInstruct Pix2Pixから継承したライセンスとなります。    
Copyright (c) 2023 Ren Nakayama    
Released under the MIT license    
https://huggingface.co/nakayama/DeDeDe/blob/main/MIT-License    

## DeDeDe_controlnet_*.pth/DeDeDe_webui_controlnet_*.safetensors
[ControlNet](https://github.com/lllyasviel/ControlNet)で用いられているモデルにDeDeDeをマージしたものです。    
具体的な方法は[こちら](https://github.com/lllyasviel/ControlNet/discussions/12)をご確認ください。    

## DeDeDeP
https://huggingface.co/nakayama/DeDeDeP    
DeDeDeをベースにDreamlike Photoreal 1.0と階層マージを用いて編集したものです。    
DeDeDeと比較してより写実的に出力が寄るようになっています。    

# 備考
SNSなどに出力した作品をアップロードする際に、タグなどの機能があれば #DeDeDeArt などをつけていただければ嬉しいです。    
私が見に行くので。    

# ライセンスについて

当モデルはDreamlike Diffusion 1.0 / Dreamlike Photoreal 1.0の影響下にあるため、上記モデルにおける**修正された**CreativeML OpenRAIL-M licenseが適用されます。    
以下はDeepLで翻訳された修正分の日本語訳となりますが、解釈において優先される言語は英語となります。    

- **あなたが収入や寄付を得る、または得る予定のウェブサイト/アプリ/その他で、このモデルやその派生物をホストしたり使用したりすることはできません。もしそうしたいのなら、contact@dreamlike.art までメールしてください。**
- **あなたは、モデルカードとファイル(実際の推論やファインチューニングを伴わない)を、商用および非商用のウェブサイト/アプリ/その他に自由にホストすることができます。完全なモデル名(Dreamlike Diffusion 1.0 / Dreamlike Photoreal 1.0)を明記し、モデルカードへのリンク( https://huggingface.co/dreamlike-art/dreamlike-diffusion-1.0 / https://huggingface.co/dreamlike-art/dreamlike-photoreal-1.0/ )を含めてください。**
- **完全に非商用なウェブサイトやアプリなどで、モデルやその派生物を自由にホストすることができます(収益や寄付を一切得ていないことを意味します)。完全なモデル名(Dreamlike Diffusion 1.0 / Dreamlike Photoreal 1.0)を明記し、モデルカード( https://huggingface.co/dreamlike-art/dreamlike-diffusion-1.0 / https://huggingface.co/dreamlike-art/dreamlike-photoreal-1.0/ )へのリンクを添付してください。**
- **10人以下のチームで、モデルの出力またはモデルの派生物の出力を商業目的で自由に使用することができます。**
- あなたは、違法または有害な出力やコンテンツを意図的に作成したり共有したりするために、このモデルを使用することはできません。
- あなたが生成した出力について、作者はいかなる権利も主張しません。あなたはそれらを自由に使用することができ、ライセンスで定められた規定に反してはならないその使用について責任を負います。
- あなたはウェイトを再配布することができます。再配布する場合は、ライセンスにあるものと同じ使用制限を含め、**修正した**CreativeML OpenRAIL-Mのコピーをすべてのユーザーと共有しなければならないことに注意してください(ライセンスを完全にかつ慎重にお読みください) ライセンス全文はこちらでご覧ください:https://huggingface.co/nakayama/DeDeDe/blob/main/License.md