NLP: thuật ngữ và độ đo
NLP: thuật ngữ và độ đo
Đọc một bài báo NLP là đi qua một rừng từ viết tắt và một bảng số. Môn này bóc từng thuật ngữ và từng độ đo bằng một mô hình bạn tự gõ vào rồi xem nó tính lại.
Hai câu hỏi lặp đi lặp lại khi làm việc với ngôn ngữ: từ này nghĩa là gì, và con số này nói lên điều gì. Môn học đi theo đúng hai câu hỏi đó. Mỗi bài nhận đầu vào bạn sửa được, hiện đủ các bước trung gian, và kết ở một điều đọng lại.
Cách học ở môn này
- Gõ vào là chính. Câu, nhãn, thứ hạng, tất cả đều sửa được. Sửa xong là số tự tính lại.
- Thấy tử số và mẫu số. Không có độ đo nào chỉ hiện ra một con số cuối, luôn kèm bảng các thành phần.
- Học cả cách đọc sai. Mỗi độ đo đều có một cái bẫy, và bài nào cũng chỉ ra cái bẫy đó.
Lộ trình
Chương 1 · Từ văn bản tới token: token, OOV và ba cách tách, BPE học từ vựng như thế nào, kích thước từ vựng, độ phủ và đuôi dài Zipf.
Chương 2 · Biểu diễn đếm được: túi từ và n-gram, tf-idf và chuyện hạ trọng số từ phổ biến, cosine, Jaccard và hệ số chồng lấn.
Chương 3 · Nghĩa đến từ ngữ cảnh: đồng xuất hiện và PPMI, từ đa nghĩa.
Chương 4 · Mô hình ngôn ngữ và giải mã: n-gram và bài toán làm mượt, cross-entropy và perplexity, temperature, top-k và top-p, beam search và phạt độ dài.
Chương 5 · Phân loại và gán nhãn: Naive Bayes cho văn bản, micro F1 so với macro F1, nhãn BIO và chấm theo span.
Chương 6 · Đo văn bản sinh ra: khoảng cách chỉnh sửa, WER và CER, BLEU và phép cắt ngọn, ROUGE, khớp theo nghĩa.
Chương 7 · Truy hồi và RAG: BM25 và hai tham số của nó, Recall@k, MRR và nDCG, chunk và chồng lấn.
Chương 8 · Tiếng Việt và cạm bẫy: âm tiết không phải từ, điểm số nhảy theo quy ước đo, Cohen kappa và tỉ lệ đồng thuận dối.
Chương 9 · Tra cứu: bảng thuật ngữ, chọn độ đo nào cho việc gì.
Chín chương đã đủ. Nếu bạn mới tới, đọc theo thứ tự trên là mạch dễ nhất, còn nếu bạn đang vấp một thuật ngữ cụ thể thì vào thẳng bảng thuật ngữ.
Môn này nằm ở đâu so với các môn khác
Nếu bạn cần nền toán của mạng nơ-ron, embedding hay attention thì học Nền tảng AI: toán và mạng nơ-ron trước. Nếu bạn muốn dùng mô hình ngôn ngữ để làm việc chứ không phải đo nó, xem Prompt · Skill · Agent. Còn bài tổng quan NLP trong môn Trí tuệ nhân tạo là xử lý ngôn ngữ tự nhiên, đọc trước cũng được.