Spaceship Titanic — Dự đoán Dịch chuyển

Tóm tắt

Bài toán Spaceship Titanic (Kaggle) yêu cầu dự đoán hành khách nào bị Transported. Chúng mình làm:

EDA: phân phối, missing value, và mối liên hệ với Transported.
Feature Engineering: tách Cabin → Deck/Side, PassengerId → Group/Member, chuẩn hoá chi tiêu.
Pipeline: (i) Chuẩn ML (impute + scale + one-hot), (ii) Native-friendly (giữ missing cho XGBoost).
So sánh mô hình: Logistic Regression, SVM (RBF, Linear, Poly), Decision Tree, Random Forest, Gradient Boosting, XGBoost, TabNet, TabPFN.

Kết quả: XGBoost vẫn dẫn đầu ổn định.

Khám phá dữ liệu (EDA)

Biểu đồ phân phối biến mục tiêu Transported (True/False). — `Transported` gần như cân bằng → thuận lợi cho phân loại.

Heatmap hiển thị tỉ lệ giá trị thiếu theo cột. — Missing tập trung ở nhóm chi tiêu & một phần ở `Age` → cần chiến lược xử lý rõ ràng.

Tiền xử lý & Pipeline

Mô hình & Thiết lập

Kết quả & Phân tích

Nhận xét nhanh

XGBoost tiếp tục khẳng định vị thế: đạt F1 ~0.814, ổn định trên nhiều cấu hình (impute / native missing).
Ensemble truyền thống (Random Forest, Gradient Boosting) giữ hiệu năng khá, chỉ thua sát nút so với XGBoost.
Deep Tabular Models:
- TabPFN hoạt động khá tốt (~0.808) dù không cần huấn luyện lâu, cho thấy tiềm năng mạnh mẽ cho few-shot tabular.
- TabNet ổn định nhưng chưa vượt qua ensemble (F1 ~0.799), tuy nhiên có ưu thế về interpretability (mask attention).
Baseline ML (SVM, Logistic) cho kết quả trung bình, hợp dùng để so sánh.
Decision Tree đơn lẻ vẫn yếu nhất (F1 < 0.74) → khẳng định lợi ích rõ rệt của boosting/ensemble.

💡 Điểm cộng: nhờ Module Config rất robust, nhóm có thể thử nghiệm nhanh hàng chục pipeline (scale, PCA, impute, giữ missing) mà không cần chỉnh tay, giúp việc so sánh toàn diện và tái lập dễ dàng.