Hướng Dẫn Cách Training Mô Hình LoRA Và Một Số Mẹo Sử Dụng

Việc sử dụng công cụ và thuật toán AI như LoRA trong Diễn họa kiến trúc đã trở thành một yếu tố không thể thiếu để nâng cao chất lượng và tối ưu thời gian làm việc. LoRA không chỉ hỗ trợ kiến trúc sư tạo ra các mô hình diễn họa chân thực, mà còn giúp họ hiểu sâu hơn về các yếu tố phức tạp trong thiết kế.

Tuy nhiên, để khai thác tối đa tiềm năng của LoRA, việc training công cụ này đúng cách là rất quan trọng. Bài viết dưới đây từ 4pixos Academy sẽ hướng dẫn chi tiết cách training LoRA một cách hiệu quả và một số mẹo sử dụng hữu ích dành cho người mới.

1. LoRA là gì?

LoRA (Low-Rank Adaptation) là một kỹ thuật training đặc biệt để tinh chỉnh các mô hình AI, như Stable Diffusion, nhằm đạt hiệu quả cao mà không tiêu tốn nhiều dung lượng bộ nhớ. LoRA trở thành một giải pháp lý tưởng giữa hai kỹ thuật tinh chỉnh phổ biến hiện nay là Dreambooth và Textual Inversion, giúp tối ưu hóa khả năng xử lý mà vẫn đảm bảo dung lượng nhẹ, phù hợp cho cả các hệ thống lưu trữ cá nhân.

Các kỹ thuật trước đó như Dreambooth tuy rất mạnh mẽ nhưng lại tạo ra các tệp lớn từ 2 đến 7 GB, chiếm nhiều không gian lưu trữ. Textual Inversion, dù nhỏ gọn hơn (chỉ khoảng 100 KB), lại bị hạn chế trong việc thay đổi chi tiết mô hình, ảnh hưởng đến chất lượng tinh chỉnh.

Với dung lượng dao động từ 2 đến 200 MB, LoRA cân bằng giữa sức mạnh training và khả năng tiết kiệm bộ nhớ, lý tưởng cho những người thường xuyên thử nghiệm các mô hình khác nhau nhưng không có dung lượng lưu trữ lớn.

Để sử dụng LoRA, người dùng cần kết hợp với tệp kiểm tra mô hình gốc (model checkpoint file), bởi vì LoRA chỉ thực hiện những thay đổi nhỏ nhằm tinh chỉnh phong cách và cách thức thể hiện của mô hình. Điều này giúp các nghệ sĩ và kiến trúc sư tùy chỉnh phong cách hình ảnh AI một cách linh hoạt mà không cần lưu trữ các tệp kích thước lớn. Với sự đơn giản và tính hiệu quả cao, LoRA đã mở ra nhiều cơ hội mới trong lĩnh vực sáng tạo số và thiết kế kiến trúc.

2. Hướng dẫn cách training LoRA

2.1 Yêu cầu phần mềm

Để huấn luyện LoRA bạn cần tối thiểu các phần mềm dưới đây:

Python: Nên dùng Python 3.8 hoặc 3.9.
PyTorch: Thư viện nền tảng cho deep learning.
Transformers và PEFT từ Hugging Face: Thư viện chứa mô hình và công cụ huấn luyện LoRA.
CUDA (tùy chọn, nếu dùng GPU NVIDIA).

Dưới đây là các bước chi tiết để training LoRA cho các mô hình diễn họa kiến trúc mà bạn có thể tham khảo.

2.2 Các bước training LoRA chi tiết

Bước 1: Chuẩn bị dữ liệu

Xác định chủ đề:

Bạn cần xác định chủ đề kiến trúc mà bạn muốn training mô hình LoRA. Ví dụ: kiến trúc hiện đại, cổ điển, hoặc kiến trúc địa phương.

Tìm kiếm hình ảnh

Sử dụng Google Image Search: Tìm kiếm hình ảnh với từ khóa liên quan đến chủ đề đã chọn.
Lưu ý về Kích Thước Hình Ảnh: Chọn hình ảnh có độ phân giải tối thiểu là 512×512 pixel để đảm bảo chất lượng training.
Định Dạng Hình Ảnh: Hình ảnh nên ở định dạng PNG hoặc JPEG.
Số Lượng Hình Ảnh: Cố gắng thu thập ít nhất 15-20 hình ảnh khác nhau để tạo sự đa dạng trong dữ liệu training.

Bước 2: Thiết lập cài đặt để training

Tạo thư mục dự án:

Tạo một thư mục mới trên Google Drive để chứa tất cả hình ảnh và các file chú thích tương ứng.

Chọn mô hình để training:

Lựa chọn một mô hình đã được huấn luyện phù hợp để sử dụng:

Stable Diffusion: stable-diffusion-v1-5/stable-diffusion-v1-5 cho hình ảnh thực tế.
Realistic Vision: SG161222/Realistic_Vision_V2.0 cho hình ảnh phong cách thực tế.

Thiết lập tham số training:

Số lần lặp hình ảnh: Quyết định số lần hình ảnh sẽ được sử dụng trong mỗi vòng đào tạo.
Số vòng training (Epochs): Tăng số vòng này để cải thiện độ chính xác của mô hình.
Tốc độ học (Learning Rate): Điều chỉnh tốc độ cập nhật mô hình.
Từ hóa kích hoạt: Chọn từ khóa để kích hoạt mô hình LoRA, ví dụ: architecture_style.

Bước 3: Chạy Notebook để training

Mở Notebook:

Mở Easy LoRA Trainer SD 1.5 hoặc một notebook tương tự trên Google Colab.

Chạy các cell:

Nhấn nút Play để bắt đầu chạy notebook.
Chấp nhận kết nối với Google Drive để lưu mô hình và dữ liệu.
Tải lên hình ảnh đã thu thập (không tải file zip).

Chờ đợi:

Quá trình này sẽ mất một khoảng thời gian, bao gồm việc:

Thiết lập phần mềm đào tạo.
Tạo chú thích cho từng hình ảnh.
Training LoRA với dữ liệu đã được chuẩn bị.

Bước 4: Sử dụng mô hình LoRA

Tải mô hình LoRA:

Mở AUTOMATIC1111 Stable Diffusion WebUI trong Google Colab.
Chọn tab Select the LoRA và tìm đến mô hình LoRA mà bạn vừa tạo.

Tạo hình ảnh:

Prompt ví dụ: Modern architecture in a futuristic city <lora:YourLoraName:1>.
Negative Prompt: blurry, disfigured, unrealistic.

3. Một số mẹo khi sử dụng LoRA

3.1 Thử nghiệm và quan sát

Không ngại thử nghiệm: Việc training LoRA đòi hỏi sự kiên nhẫn và thử nghiệm. Hãy coi các tham số mặc định là một điểm khởi đầu.

Thay đổi từng bước: Thay đổi từng cài đặt một lần và quan sát kết quả với cùng một seed. Tạo nhiều hình ảnh để rút ra kết luận.

3.2 Tránh overcooked và undercooked

Trong quá trình đào tạo LoRA, có hai khái niệm quan trọng cần chú ý: overcooked và undercooked

Overcooked: Một mô hình LoRA được coi là overcooked khi đối tượng hiển thị màu sắc bão hòa quá mức, thường là do giá trị CFG (Classifier-Free Guidance) cao. Kết quả là hình ảnh có thể trông quá “mạnh” hoặc không tự nhiên.
Undercooked: Ngược lại, một mô hình undercooked khi đối tượng không hiện rõ hoặc không có đủ chi tiết.

3.3 Điều chỉnh số lần lặp và tốc độ học

Để đạt được kết quả tốt nhất, bạn cần phải điều chỉnh các tham số hợp lý hơn:

Tăng số lần lặp lại và Epochs: Nếu bạn cảm thấy mô hình của mình vẫn chưa đạt yêu cầu, hãy thử tăng số lần lặp lại hoặc số epochs. Điều này giúp thể hiện rõ đối tượng hơn.
Giảm tốc độ học: Việc này sẽ khiến mô hình thực hiện các cập nhật nhỏ hơn, giúp quá trình đào tạo diễn ra mượt mà và tự nhiên hơn.

Trên đây là những hướng dẫn cơ bản cách training LoRA và một số mẹo hữu ích giúp bạn có thể áp dụng vào các dự án diễn họa kiến trúc. Việc nắm vững kỹ thuật này không chỉ giúp bạn tiết kiệm thời gian mà còn nâng cao chất lượng công việc, mang lại giá trị tốt nhất cho khách hàng. Để trau dồi thêm kiến thức và học thêm nhiều tip hữu ích về diễn hoạ kiến trúc & các công cụ AI, hãy truy cập vào thư viện của 4pixos Academy nhé!

Nếu bạn muốn tìm hiểu sâu hơn về nghệ thuật chỉ đạo trong thiết kế và khai thác sức mạnh của AI trong ngành diễn họa, đừng bỏ lỡ khóa học Art Direction w AI tại 4pixos Academy. Khóa học sẽ trang bị cho bạn kiến thức và kỹ năng cần thiết để bạn có thể tự tin ứng dụng công nghệ vào quy trình sáng tạo của mình.

Ngoài ra, bạn cũng có thể tìm hiểu thêm thông tin các khóa học của 4pixos Academy tại đây.

Xem thêm
> DALL-E 2, Midjourney, Stable Diffusion: Đâu Là Công Cụ AI Tốt Hơn Cho 3D Artist?
> Stable Diffusion là gì? 5 Tính Năng Thần Kỳ Của Stable Diffusion Mà Bạn Cần Biết
> Hướng Dẫn Chi Tiết Cài Stable Diffusion Trên Google Colab
> Google Colab là gì? Hướng dẫn sử dụng Google Colab cho người mới bắt đầu
> Nên Vận Dụng AI Vào Giai Đoạn Nào Trong Quá Trình Diễn Hoạ Kiến Trúc?