MagicQuill - Công cụ InPaint SD Đơn Giản Hóa

MagicQuill - Công cụ InPaint SD Đơn Giản Hóa.

Một công cụ giúp người mới dễ tiếp cận hơn và thuận tiện hơn cho nhu cầu Inpainting. Hiện đang sử dụng được 5 checkpoint SD1.5 để Inpaint.

Hướng dẫn chi tiết

I. Ba loại magic quill

Sử dụng add brush để thêm chi tiết và các thành phần theo gợi ý - thể hiện ý tưởng của bạn bằng những nét vẽ sống động!

"Chỉ với vài nét vẽ, một chú nai nhỏ sống động xuất hiện"

"Trang trí cho quý cô xinh đẹp một chiếc vòng cổ"

subtract brush có thể xóa chi tiết thừa hoặc vẽ lại các vùng dựa trên gợi ý. Nếu có điều gì không hài lòng, chỉ cần xóa bỏ nó!

"Một chú cá heo có hai đuôi? Hãy cho nó một sự 'điều trị' nhanh chóng!"

"Hãy cởi mũ của ngài Skeleton và giúp anh ấy mát mẻ."

Kết hợp add và subtract brushes để tạo ra những hiệu ứng kết hợp tuyệt vời!

"Hãy cho Mona Lisa một chú mèo cưng~"

"Hãy cho chàng đẹp trai này một chiếc cà vạt mới!"

color brush có thể tô màu chính xác cho hình ảnh, phù hợp với màu của brush của bạn~

"Tô màu chính xác - vẽ đúng nơi bạn muốn tô"

"Bạn không nghĩ những bông hoa xanh trông mộng mơ hơn những bông hoa hồng sao?"

• Lưu ý color brush và add&subtract brush không thể sử dụng cùng lúc - bạn chỉ có thể dùng một trong hai!

II. Vẽ và Đoán

Brush của chúng tôi rất thông minh! Nhìn các ví dụ phía trên - ngay khi bạn vẽ xong, nó nhanh chóng đoán được những gì bạn muốn tạo ra và điền vào gợi ý cho bạn~ Đôi khi nó có thể đoán sai, vì vậy hãy thoải mái nói cho nó biết bạn thực sự muốn vẽ gì nhé~

"Oops! Tôi không muốn vẽ một dây leo, tôi muốn tạo một con đường!"

III. Các công cụ canvas cực kỳ hữu ích!

Nhấp vào nút này để tải lên bức ảnh bạn muốn chỉnh sửa~

Vẽ sai với brush? Chỉ cần xóa nó bằng rubber tool!

Kéo, xoay và điều chỉnh kích thước nét vẽ của bạn bằng con trỏ - giống như khi bạn làm việc trong PowerPoint!

Bên trái là ctrl+z, bên phải là ctrl+y - bạn biết điều đó có nghĩa gì rồi! 😊Và với người dùng Mac, bên trái là command+z, bên phải là command+shift+z! 😝

Oops! Trông không đúng rồi 😵 - nhấp vào thùng rác này để xóa nét vẽ

Những nét vẽ cản trở tầm nhìn của tôi, làm sao để xem hình ảnh😡?! Hãy thử nhấp vào nút này để tạm thời ẩn nét vẽ của bạn

Hai biểu tượng này sẽ xuất hiện sau khi hình ảnh được tạo ra...Tôi yêu hình ảnh được tạo ra này 😍, tôi muốn tiếp tục chỉnh sửa! ➡️ Nhấp ✅ để tiếp tục chỉnh sửa. Cái gì thế này 😡, tôi không muốn nhìn thấy nó! ➡️ Nhấp ❎ để hủy bỏ kết quả

IV. Lưu ý

Khi bạn thấy biểu tượng quay ở góc dưới bên trái, điều đó có nghĩa là magicquill vẫn đang nạp năng lượng 💪 Hãy đợi cho đến khi nó biến mất trước khi nhấp vào nút Run!

Khi cây đũa phép đang nhấp nháy, brush của chúng tôi đang cố gắng đoán xem bạn đang cố vẽ gì 🤔 Hãy kiên nhẫn nhé! 🙏

V. Các thông số

Nếu bạn đã đọc đến đây, chắc hẳn bạn rất thích sản phẩm của chúng tôi! 😍Nếu bạn muốn học cách kiểm soát kết quả tạo ra tốt hơn, đừng bỏ lỡ phần này! 😘Bên cạnh nút Run, bạn có thể chọn các thông số để điều chỉnh cài đặt nâng cao 🧐

• Base Model Name: Người dùng có thể điều chỉnh để chọn base models phù hợp cho các phong cách chỉnh sửa khác nhau
• • SD1.5/realisticVisionV60B1_v51VAE.safetensors: Model này tạo ra hình ảnh theo phong cách thực tế! Hãy sử dụng nó trong hầu hết thời gian.
  • SD1.5/DreamShaper.safetensors: Model này dùng để tạo hình ảnh phong cách fantasy
  • SD1.5/majicMIX_realistic: Model này giỏi trong việc tạo chân dung 👩
  • SD1.5/MeinaMix.safetensors: Model này giỏi trong việc tạo hình ảnh anime.
  • SD1.5/ghostmix_v20Bakedvae.safetensors: Một model khác để tạo hình ảnh anime.
  • Nếu có bất kỳ model nào bạn muốn thêm, hãy liên hệ với chúng tôi!
• Negative Prompt: Người dùng có thể nhập nội dung họ muốn model tránh tạo ra. Bất cứ điều gì bạn không muốn tạo ra, hãy đặt nó ở đây.
• Fine Edge: Người dùng có thể bật tùy chọn này để kích hoạt kiểm soát cạnh tinh tế.
• Grow Size: Điều chỉnh thông số này để thiết lập phạm vi pixel bị ảnh hưởng xung quanh nét vẽ khi chỉnh sửa hình ảnh, để mở rộng/thu nhỏ vùng ảnh hưởng của nét vẽ.
• Edge Strength: Thông số để điều chỉnh độ mạnh của add/subtract brush. Nói đơn giản, nếu bạn tự tin vào kỹ năng vẽ của mình, bạn có thể tăng độ mạnh. Nếu bạn vẽ kém như chúng tôi 🤦, hãy giữ nguyên thông số hoặc giảm độ mạnh một chút.
• Color Strength: Thông số để điều chỉnh độ mạnh của color brush, có thể điều chỉnh hiệu ứng tô màu của hình ảnh.
• Các thông số còn lại chỉ là một số thông số phổ biến cho diffusion models! Về cơ bản bạn không cần quản lý chúng, nhưng nếu bạn là chuyên gia trong ngành/AI art, hãy thoải mái thử điều chỉnh chúng~

Yêu cầu phần cứng

Để chạy MagicQuill cần có GPU. Qua quá trình thử nghiệm, chúng tôi đã xác nhận rằng model có thể chạy trên GPU với 8GB VRAM (RTX4070 Laptop).

Đối với người dùng có GPU hạn chế, vui lòng thử Huggingface Demo và Web Demo (Alipay Cloud). Ngoài ra, hãy cân nhắc tắt tính năng tự động điền prompt DrawNGuess bằng cách nhấp vào biểu tượng cây đũa phép phía trên nếu máy của bạn chạy quá lâu.

Cài đặt

Làm theo hướng dẫn sau để thiết lập môi trường.

1. Clone repo. Đừng quên flag -recursive. Nếu không, bạn sẽ thấy thiếu submodule LLaVA

git clone --recursive <https://github.com/magic-quill/MagicQuill.git> cd MagicQuill

2. Tải và giải nén checkpoints. Nếu không truy cập được file .zip, hãy tải qua trình duyệt. Tổng dung lượng các checkpoint khoảng 25 GB. Có thể mất một thời gian để tải về. Bạn cũng có thể tải checkpoints từ huggingface.

wget -O models.zip "<https://hkustconnect-my.sharepoint.com/:u:/g/personal/zliucz_connect_ust_hk/EWlGF0WfawJIrJ1Hn85_-3gB0MtwImAnYeWXuleVQcukMg?e=Gcjugg&download=1>" unzip models.zip

Nếu bạn dùng Windows, bạn có thể sử dụng windows_setup.bat để cài đặt môi trường một cách thuận tiện, chỉ cần nhập windows_setup.bat trong Python shell. Đối với người dùng Linux, hãy xem linux_setup.sh.

Hoặc, làm theo hướng dẫn cài đặt từng bước sau đây.

3. Tạo môi trường

conda create -n MagicQuill python=3.10 -y conda activate MagicQuill

4. Cài đặt torch với hỗ trợ GPU

pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url <https://download.pytorch.org/whl/cu118>

5. Cài đặt giao diện

pip install gradio_magicquill-0.0.1-py3-none-any.whl

6. Cài đặt môi trường llava

(Cho Linux)

cp -f pyproject.toml MagicQuill/LLaVA/ pip install -e MagicQuill/LLaVA/

hoặc

(Cho Windows)

copy /Y pyproject.toml MagicQuill\\LLaVA\\ pip install -e MagicQuill\\LLaVA\\

(Đối với Windows PowerShell, dòng đầu tiên nên là Copy-Item -Path pyproject.toml -Destination "MagicQuill\\LLaVA" -Force)

7. Cài đặt các môi trường còn lại

pip install -r requirements.txt

8. Chạy magicquill

python gradio_run.py

Link Github: https://github.com/magic-quill/MagicQuill

Link Demo HuggingFace: https://huggingface.co/spaces/AI4Editing/MagicQuill