ข้อกำหนดทางเทคนิคของ stability-ai/stable-diffusion-3
| ข้อกำหนด | รายละเอียด |
|---|---|
| Model ID | stability-ai/stable-diffusion-3 |
| ผู้ให้บริการ | Stability AI |
| ตระกูลโมเดล | Stable Diffusion 3 |
| รูปแบบหลัก | การสร้างภาพจากข้อความ |
| สถาปัตยกรรม | Multimodal Diffusion Transformer (MMDiT) |
| ตัวเข้ารหัสข้อความ | OpenCLIP-ViT/G, CLIP-ViT/L และ T5-XXL |
| จุดเด่น | คุณภาพของภาพที่ดีขึ้น, ไทโปกราฟี, ความเข้าใจพรอมป์ที่ซับซ้อน, และประสิทธิภาพการใช้ทรัพยากร |
| สรุปการฝึก | พรีเทรนบนภาพ 1 พันล้านภาพ และฟายน์จูนรวมถึงภาพสวยคุณภาพสูง 30M และภาพข้อมูลความชอบ 3M |
| ตัวเลือกการเข้าถึง | Stability API Platform, น้ำหนักบน Hugging Face, และเครื่องมือในระบบนิเวศ เช่น ComfyUI และรุ่นที่เข้ากันได้กับ Diffusers |
| บริบทสัญญาอนุญาต | เผยแพร่ภายใต้ Stability AI Community License โดยการใช้งานเชิงพาณิชย์ที่เกินเกณฑ์รายได้ที่ระบุจำเป็นต้องมีสัญญาอนุญาตสำหรับองค์กร |
stability-ai/stable-diffusion-3 คืออะไร?
stability-ai/stable-diffusion-3 คือรหัสระบุแพลตฟอร์มของ CometAPI สำหรับตระกูลโมเดล Stable Diffusion 3 จาก Stability AI ซึ่งเป็นระบบสร้างภาพจากข้อความที่ออกแบบมาเพื่อสร้างภาพจากพรอมป์ภาษาธรรมชาติ ในเอกสารทางการ Stability AI อธิบายว่า Stable Diffusion 3 Medium เป็นรุ่นโอเพ่นในซีรีส์ SD3 และเน้นความก้าวหน้าในด้านคุณภาพของภาพ การยึดตามพรอมป์ ไทโปกราฟี และประสิทธิภาพ
ในเชิงเทคนิค Stable Diffusion 3 หมายถึงการเปลี่ยนผ่านจากดีไซน์ Stable Diffusion แบบเดิมที่อาศัย U-Net ไปสู่สถาปัตยกรรม Multimodal Diffusion Transformer โมเดลการ์ดของ SD3 Medium ที่เผยแพร่ระบุว่าใช้ตัวเข้ารหัสข้อความที่พรีเทรนไว้คงที่จำนวนสามตัว—OpenCLIP-ViT/G, CLIP-ViT/L และ T5-XXL—เพื่อถอดความหมายของพรอมป์ได้ดีขึ้นและเพิ่มความเที่ยงตรงของการสร้าง โดยเฉพาะสำหรับการแสดงข้อความในภาพและคำอธิบายฉากที่ซับซ้อนมากขึ้น
สำหรับนักพัฒนา สิ่งนี้หมายความว่า stability-ai/stable-diffusion-3 ควรเข้าใจว่าเป็นเอ็นด์พอยต์สร้างภาพสมัยใหม่ที่เหมาะกับงานครีเอทีฟ เวิร์กโฟลว์ด้านดีไซน์ งานวิจัย การทำต้นแบบ และผลิตภัณฑ์ที่ต้องการความเข้าใจพรอมป์ที่แข็งแรงกว่ารุ่น Stable Diffusion ก่อนหน้า โดยขึ้นกับวิธีการดีพลอย สามารถเข้าถึงได้ผ่าน API แบบโฮสต์หรือเครื่องมือแบบโฮสต์เองที่สร้างบนชุดน้ำหนักอย่างเป็นทางการและสแตกอินเฟอเรนซ์ที่เข้ากันได้
คุณสมบัติหลักของ stability-ai/stable-diffusion-3
- การสร้างภาพด้วยทรานส์ฟอร์เมอร์ขั้นสูง: Stable Diffusion 3 ใช้สถาปัตยกรรม Multimodal Diffusion Transformer (MMDiT) แทนแนวทาง U-Net แบบเดิม สะท้อนการอัปเดตสถาปัตยกรรมครั้งใหญ่ในสายผลิตภัณฑ์ Stable Diffusion
- ความเข้าใจพรอมป์ที่ดีขึ้น: โมเดลถูกออกแบบให้รองรับคำสั่งข้อความที่ซับซ้อนมากขึ้นด้วยการจัดแนวเชิงความหมายที่ดีขึ้น ช่วยให้สร้างฉากที่สอดคล้องกับเจตนาผู้ใช้มากกว่าเดิม
- ไทโปกราฟีและการเรนเดอร์ข้อความที่ดียิ่งขึ้น: หนึ่งในจุดเด่นของ SD3 คือการสร้างข้อความในภาพที่แข็งแรง เหมาะกับโปสเตอร์ ป้าย ม็อกอัป และงานครีเอทีฟที่มีแบรนด์
- ผลลัพธ์ภาพคุณภาพสูง: Stability AI วางตำแหน่ง SD3 Medium เป็นโมเดลสร้างภาพจากข้อความแบบเปิดที่ก้าวหน้าที่สุด ณ เวลาปล่อย โดยเน้นคุณภาพภาพและความงาม
- ประสิทธิภาพการใช้ทรัพยากร: โมเดลมีขนาดเล็กลงและเหมาะกับพีซีผู้บริโภค แล็ปท็อป และ GPU ระดับองค์กร ทำให้ใช้งานได้จริงกว่ารุ่นภาพขนาดใหญ่ในหลายเวิร์กโฟลว์
- หลายช่องทางการเข้าถึง: เข้าถึงได้ผ่าน API แบบโฮสต์ รวมถึงดาวน์โหลดน้ำหนักและอินทิเกรตผ่านเครื่องมือต่างๆ เช่น ComfyUI และไปป์ไลน์ที่เข้ากันได้กับ Diffusers
- ความยืดหยุ่นสำหรับงานเชิงพาณิชย์และงานวิจัย: สัญญาอนุญาตแบบ Community อนุญาตการวิจัย การใช้งานไม่เชิงพาณิชย์ และการใช้งานเชิงพาณิชย์ภายใต้เกณฑ์รายได้ที่ระบุ ขณะที่การใช้งานเชิงพาณิชย์ขนาดใหญ่จำเป็นต้องมีสัญญาอนุญาตระดับองค์กร
- ระบบนิเวศที่สนับสนุนนักพัฒนา: แพ็กเกจทางการ ชุดตัวเข้ารหัสข้อความ ตัวอย่างเวิร์กโฟลว์ และการรองรับ Diffusers ช่วยให้ง่ายต่อการประเมิน ปรับแต่ง และผสานในสภาพแวดล้อมการผลิต
วิธีเข้าถึงและผสาน stability-ai/stable-diffusion-3
ขั้นตอนที่ 1: สมัครเพื่อรับ API Key
สมัครใช้งานบน CometAPI และสร้าง API key จากแดชบอร์ด จากนั้นจัดเก็บให้ปลอดภัยเป็นตัวแปรสภาพแวดล้อมเพื่อให้แอปพลิเคชันของคุณสามารถยืนยันตัวตนเมื่อเรียกใช้งาน API ได้
ขั้นตอนที่ 2: ส่งคำขอไปยัง API ของ stability-ai/stable-diffusion-3
ใช้ปลายทาง CometAPI ที่เข้ากันได้กับ OpenAI และระบุโมเดลเป็น stability-ai/stable-diffusion-3.
curl https://api.cometapi.com/v1/images/generations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $COMETAPI_API_KEY" \
-d '{
"model": "stability-ai/stable-diffusion-3",
"prompt": "A cinematic futuristic city skyline at sunset, ultra detailed, volumetric lighting"
}'
from openai import OpenAI
client = OpenAI(
api_key="YOUR_COMETAPI_API_KEY",
base_url="https://api.cometapi.com/v1"
)
response = client.images.generate(
model="stability-ai/stable-diffusion-3",
prompt="A cinematic futuristic city skyline at sunset, ultra detailed, volumetric lighting"
)
print(response)
ขั้นตอนที่ 3: ดึงผลลัพธ์และตรวจสอบความถูกต้อง
ทำการพาร์สเพย์โหลดผลลัพธ์ที่สร้างขึ้น ดึง URL ของภาพหรือเนื้อหาแบบ base64 ที่ส่งกลับมา และตรวจสอบให้แน่ใจว่าผลลัพธ์สอดคล้องกับพรอมป์ สไตล์ ขนาด และข้อกำหนดด้านความปลอดภัยก่อนนำไปใช้ในแอปพลิเคชันของคุณ