Posts

Showing posts from November, 2017

NLP - Recurrent Neural Network

Image
Nội dung bài viết được tham khảo và dịch lại từ trang blog WILDML.
    Trong bài viết trước, tôi đã giới thiệu với bạn đọc về mô hình ngôn ngữ. Ta đã biết ứng dụng của mô hình ngôn ngữ gồm 2 dạng. Một là đánh giá độ chính xác của một câu dựa theo mức độ tương tự của chúng trên thực tế. Việc đánh giá này giúp ta ước lượng được độ chính xác của văn phạm lẫn ngữ nghĩa của một câu. Những mô hình này thường được ứng dụng trong các hệ thống dịch máy (Machine Translation). Hai là tự động sinh văn bản. Ví dụ huấn luyện mô hình với các tác phẩm của Shakespeare có thể cho phép ta sinh ra các câu từ tựa như cách Shakeapeare viết. Ngoài ra, bạn đọc có thể tham khảo thêm bài viết thú vị này của Andrej Karpathy về khả năng của các mô hình ngôn ngữ mức độ từ vựng.

    Trong bài viết này, tôi sẽ trình bày về mô hình ngôn ngữ dựa trên mạng nơ-ron hồi quy (RNN - Recurrent Neural Network), một thuật toán được chú ý rất nhiều trong thời gian gần đây bởi các kết quả tốt thu được trong lĩnh vực xử lý ngôn …