Nhận dạng Chữ số qua Giọng nói với HMM

Lê Chí Đại

ĐH Bách Khoa TP.HCM

Nguyễn Quốc Huy

ĐH Bách Khoa TP.HCM

Phạm Lê Tiến Đạt

ĐH Bách Khoa TP.HCM

Võ Văn Thịnh

ĐH Bách Khoa TP.HCM

Bài tập lớn Mở rộng - Môn Học Máy (ML4U)

Minh hoạ sóng âm và kiến trúc mô hình HMM.
Biến đổi sóng âm thành chữ số bằng Mô hình Markov Ẩn 🔊

Tóm tắt

Đây là project mở rộng cho môn Học Máy, tập trung vào bài toán Nhận dạng Chữ số qua Giọng nói (Spoken Digit Recognition). Chúng mình đã thực hiện:

Khám phá dữ liệu Âm thanh (EDA)

Biểu đồ spectrogram của các chữ số khác nhau.
Spectrogram cho thấy “dấu vân tay âm học” của mỗi chữ số thay đổi theo thời gian.
Biểu đồ hộp phân bố thời lượng phát âm.
Thời lượng phát âm thay đổi lớn, đặc biệt với các chữ số nhiều âm tiết.

Trích xuất Đặc trưng & Pipeline

So sánh giữa waveform thô và heatmap MFCC.
MFCC (phải) tạo ra một biểu diễn ổn định và dễ phân biệt hơn nhiều so với waveform thô (trái).

Mô hình Markov Ẩn (HMM)

Sơ đồ kiến trúc hệ thống HMM.
Mỗi mô hình HMM được huấn luyện để nhận dạng một chữ số cụ thể.

Demo

Demo nhận dạng chữ số qua giọng nói (HMM + MFCC).

Link deploy Gradio Demo

Mở demo

Kết quả

Kết quả độ chính xác trên tập test.
Độ chính xác đạt 93.78%, một kết quả rất tốt cho mô hình kinh điển.
Ảnh GIF minh hoạ demo Gradio.
Demo tương tác cho phép ghi âm và nhận dạng chữ số trong thời gian thực.

Nhận xét nhanh

💡 Điểm cộng: Project không chỉ dừng lại ở việc dùng thư viện, mà còn đi sâu vào việc cài đặt lại mô hình HMM từ đầu, thể hiện sự nắm vững kiến thức cốt lõi và kỹ năng lập trình của nhóm.