BTL 1 - Image Classification Report

Bài toán là phân loại ảnh động vật đa lớp (10 lớp), đầu vào là ảnh RGB được resize về 224x224 và chuẩn hóa theo cấu hình từng backbone. Mục tiêu là tối ưu độ chính xác cho kết quả của mô hình (macro F1/Accuracy) và đánh giá kết quả khi thay đổi backbone và augmentation.

Trực quan hóa phân bố mẫu theo lớp và vài sample ảnh trước bước resize/augmentation để kiểm tra chất lượng dữ liệu.

Kích thước dataset: 26179 ảnh - 10 lớp

Dữ liệu được chia theo tỉ lệ 70/15/15 tương ứng với các tập train/val/test. Mỗi model dùng transform riêng dựa trên data config từ timm.

Data augmentation (cho tập train) bao gồm: RandomResizedCrop, RandomHorizontalFlip, RandomVerticalFlip, RandomRotation, RandomGrayscale, ColorJitter, và Normalize theo config của từng backbone.

transform = transforms.Compose([
            transforms.RandomResizedCrop(IMG_SIZE, scale=(0.7, 1.0)),
            transforms.RandomHorizontalFlip(),
            transforms.RandomVerticalFlip(p=0.1),
            transforms.ColorJitter(brightness=0.3, contrast=0.3,
                                   saturation=0.2, hue=0.1),
            transforms.RandomRotation(20),
            transforms.RandomGrayscale(p=0.05),
            transforms.ToTensor(),
            transforms.Normalize(mean=mean, std=std),
        ])

So sánh 2 đại diện CNN (ResNet18, EfficientNet-B0) và 2 Transformer-based models (ViT-B16, Swin-Tiny).

Dùng một head chung cho mọi backbone: Linear -> BatchNorm -> ReLU -> Dropout -> Linear.

class AnimalClassifier(nn.Module):
    def __init__(self, timm_name, n_classes, hidden_dim=512):
        super().__init__()
        self.backbone = timm.create_model(timm_name, pretrained=True, num_classes=0)
        in_features = self.get_in_features()
        self.head = nn.Sequential(
            nn.Linear(in_features, hidden_dim),
            nn.BatchNorm1d(hidden_dim),
            nn.ReLU(),
            nn.Dropout(0.3),
            nn.Linear(hidden_dim, n_classes),
        )

    def forward(self, x):
        return self.head(self.backbone(x))

Chuyển tab để xem các nhóm biểu đồ train/val theo metric

Bảng so sánh tổng hợp các metric chính (accuracy, precision, recall, F1) và các chỉ số chi phí (số lượng tham số, FLOPs, kích thước mô hình) cho các cấu hình khác nhau.

Confusion Matrix cho từng model

Trình bày các mẫu model dự đoán và phân tích, trực quan hóa bằng GradCAM/EigenCAM để hiểu vùng ảnh nào mô hình tập trung khi dự đoán. So sánh giữa 4 backbone để thấy sự khác biệt trong cách học đặc trưng.

Mẫu 1: Mẫu khó

Mẫu 2: Không phải con vật

Mẫu 3: Mẫu sai nhãn

Mẫu 4: Mẫu sai nhãn

Mẫu 5: Mẫu khó

Mẫu 6: Mẫu khó (mèo lai bướm)