McDonald's Store Reviews - Dự Đoán Rating từ Review

ĐH Bách Khoa TPHCM

ĐH Bách Khoa TPHCM

ĐH Bách Khoa TPHCM

ĐH Bách Khoa TPHCM

Bài tập lớn - Môn Học Máy (ML4U)

Tóm tắt

Bài toán McDonald’s Store Reviews yêu cầu dự đoán điểm đánh giá (1–5 sao) từ nội dung bình luận của khách hàng.

Chúng mình thực hiện:

Tiền xử lý văn bản: loại bỏ dấu câu, chuyển chữ thường, xoá stopwords, chuẩn hoá độ dài chuỗi.
Biểu diễn đặc trưng:
- Truyền thống: TF-IDF, Bag-of-Words (BoW), n-gram.
- Hiện đại: DistilBERT Embedding.
Huấn luyện & đánh giá: So sánh các mô hình từ Naive Bayes, Logistic Regression, SVM, RNN, LSTM đến DistilBERT Fine-tuned.
Phân tích kết quả: Đánh giá theo Accuracy, F1-Score, và phân tích hiệu năng giữa mô hình truyền thống và transformer.

Kết quả: DistilBERT Fine-tuned cho độ chính xác cao nhất.

Dữ liệu được lấy từ Kaggle: McDonald’s Store Reviews
Gồm 33,396 đánh giá của khách hàng, mỗi mẫu có 10 thuộc tính, trong đó review (chuỗi văn bản) là đầu vào, và rating (1–5 sao) là nhãn dự đoán.

“Với một đánh giá của khách hàng, liệu mô hình có thể dự đoán chính xác số sao mà họ đã cho không?”

1️⃣ Tiền xử lý (Preprocessing)

2️⃣ Biểu diễn đặc trưng (Feature Extraction)

3️⃣ Huấn luyện mô hình (Model Training)

Tập dữ liệu mất cân bằng: nhiều đánh giá 1⭐ và 5⭐ → cần class weighting trong huấn luyện.

Độ dài bình luận thay đổi mạnh — có những đánh giá chỉ vài từ và cũng có đoạn mô tả dài hơn 100 từ.

Từ thường gặp trong đánh giá tích cực: “Excellent”, “McDonald”, “good”, “food”
Từ thường gặp trong đánh giá tiêu cực: “food”, “order”, “McDonald”

DistilBERT dẫn đầu (F1 ≈ 0.668) nhờ khả năng hiểu ngữ cảnh và biểu diễn ngữ nghĩa sâu.
BoW + Logistic Regression (Bigram/Trigram) đạt hiệu năng cao, chứng minh mô hình tuyến tính vẫn hiệu quả khi đặc trưng được chọn hợp lý.
TF-IDF + Linear SVC ổn định và cạnh tranh, là lựa chọn cân bằng giữa hiệu năng và chi phí huấn luyện.
BERT Sequence + LSTM không cải thiện đáng kể, cho thấy việc chồng thêm tầng tuần tự không luôn mang lại lợi ích khi dữ liệu hạn chế.
BoW/TF-IDF Unigram cho kết quả thấp hơn rõ rệt → khẳng định tầm quan trọng của đặc trưng ngữ cảnh (n-gram).
💡 Điểm sáng: Các mô hình truyền thống (Logistic Regression, SVM) kết hợp với TF-IDF hoặc BoW vẫn đạt kết quả tốt, cạnh tranh mạnh mẽ với transformer nếu được tinh chỉnh tốt.