Sử dụng tiếng Việt không dấu đang là một thói quen không tốt của nhiều người Việt trên internet. Thói quen này tạo ra nhiều cản trở cho người sử dụng cũng như người nghiên cứu : 

1. Người sử dụng : tiếng Việt không dấu khó đọc, và dễ gây hiểu lầm. 

2. Người sử dụng : hiện tại tất cả những công cụ NLP cho tiếng Việt đều dựa trên tiếng Việt có dấu. Nếu có, thì cũng làm giảm hiệu quả và độ chính xác của chương trình. 

  Vì những lý do như thế, tôi đã bắt tay vào giải quyết bài toán thêm dấu cho tiếng Việt. 

  Bài toán thêm dấu cho tiếng Việt đã được đặt ra từ lâu, nhưng những nghiên cứu về bài toán này lại chưa thực sự thu được nhiều thành công. 

  Sau đây tôi xin giới thiệu những nghiên cứu (chương trình) có kết quả tạm chấp nhận được : 

1. http://vietlabs.com/vietizer.html 

2. VietMarker

  Kết quả của VietMarker là 1 kết quả rất khả quan, lên tới 93%, nhưng đáng tiếc là không có tài liệu nghiên cứu (về hướng tiếp cận, thuật toán, dữ liệu) và không ở dạng open source dù là 1 phần mềm miễn phí. 

  Xử lý cùng lúc 2 quá trình thêm dấu và tách từ. Như thế, có thể xử lý những văn bản hỗn hợp giữa có dấu và không dấu, tận dụng được độ chính xác cao từ phương pháp tách từ. 

  Thay đổi dữ liệu từ điển : 

Với phương án tiếp cận trên, tôi đã bước đầu xây dựng thành công việc phân tách từ. Dữ liệu sử dụng có trong file đính kèm. 

Kết quả ví dụ : 

  Sử dụng dữ liệu huấn luyện lớn hơn để tăng độ chính xác cho chương trình.