BLEU và phép cắt ngọn

Sửa cả hai câuBảng p_n hiện rõTính lại thật

BLEU và phép cắt ngọn

Máy dịch xong rồi chấm bằng gì? BLEU đếm xem câu dịch trùng bao nhiêu cụm từ với câu người dịch, nhưng có hai mẹo chống gian lận mà bạn nên tự tay thử.

BLEU so câu máy dịch với một hoặc nhiều câu tham chiếu do người dịch, rồi hỏi: trong các cụm n từ liên tiếp của câu máy, bao nhiêu cụm cũng xuất hiện ở tham chiếu. Tỉ lệ đó gọi là độ chính xác cụm bậc n, viết là p_n. Điểm cuối là trung bình nhân của p_1 tới p_4, nhân thêm một hệ số phạt nếu câu dịch quá ngắn.

BLEU · chấm bản dịch bằng cụm n từ

Bậc n cao nhấtBLEU-1BLEU-2BLEU-3BLEU-4Làm mượt add-1

BLEU 76.49%

Câu máy dịch ✎ sửa đượccon mèo nằm trên tấm thảmTham chiếu 1 ✎ sửa đượccon mèo đang nằm trên tấm thảmTham chiếu 2 ✎ sửa đượccó một con mèo nằm trên thảm

Trùng nhiều cụm dài nên p2 tới p4 đều khác 0, BLEU lên cao.

Cụm 1 từ của câu dịch

conmèonằmtrêntấmthảm

Bậc	Trúng sau cắt ngọn	Tổng cụm	pn
1	6	6	6 / 6 = 100.0%
2	5	5	5 / 5 = 100.0%
3	4	4	4 / 4 = 100.0%
4	2	3	2 / 3 = 66.7%

Độ dài câu dịch c6

Độ dài tham chiếu gần nhất r7

Phạt câu ngắn BP0.8465

Trung bình nhân các p_n0.9036

BLEU-4 = BP × trung bình nhân76.49%

Sửa cả câu dịch lẫn câu tham chiếu, xoá hẳn tham chiếu thứ hai nếu muốn chỉ còn một. Dải cụm ở giữa là các cụm n từ của câu dịch: xanh là trúng, xám là bị cắt ngọn vì tham chiếu không còn bản sao nào để đối, đỏ nhạt là trượt. Muốn thấy cắt ngọn rõ nhất, bấm Lặp một từ rồi nhìn dải cụm ở bậc 1.

Hai chi tiết làm nên BLEU, và cả hai đều nhìn thấy được trong sim:

Cắt ngọn (clipping). Bấm nút Lặp một từ. Câu dịch là bảy chữ the, tham chiếu chỉ chứa nhiều nhất hai chữ the, nên chỉ hai lần được tính, p_1 bằng 2/7 chứ không phải 7/7. Đây đúng là ví dụ trong bài báo gốc năm 2002. Không có cắt ngọn thì cách gian lận dễ nhất là lặp mãi một từ hay gặp.

Phạt câu ngắn (brevity penalty). Bấm Quá ngắn. Mọi từ trong câu dịch đều trúng nên các p_n đều bằng 1, nhưng câu chỉ dài 4 từ so với tham chiếu 7 từ, hệ số phạt kéo điểm xuống còn khoảng 47%. Không có nó thì dịch mỗi vài từ chắc chắn đúng sẽ được điểm tuyệt đối.

Ba điều cần cảnh giác khi đọc một con số BLEU:

• Một bậc trượt sạch là về không. Trung bình nhân có tính chất đó. Với câu ngắn thì p_4 rất dễ bằng 0, nên chấm từng câu người ta thường bật làm mượt, còn chấm cả tập thì không cần.
• BLEU gắn chặt với cách tách token. Cùng một cặp câu, đổi bộ tách là đổi điểm. Vì vậy hai bài báo chỉ so BLEU được với nhau khi dùng chung quy ước tách.
• BLEU không hiểu nghĩa. Bấm Đúng nghĩa, khác chữ: bản dịch người đọc thấy chấp nhận được vẫn nhận điểm 0, chỉ vì chọn từ khác. Đó là lý do có các độ đo dựa trên vector nhúng, sẽ gặp ở bài sau trong chương này.

Điều rút ra

BLEU đo độ trùng chữ, không đo độ đúng nghĩa. Nó chấm nhanh, lặp lại được, và đủ tốt để so hai hệ thống trên cùng một tập dữ liệu với cùng một bộ tách token. Ngoài khuôn khổ đó thì đừng đọc nó như điểm chất lượng bản dịch.

Câu hỏi tự kiểm0/3 đúngchưa trả lời

1. 1Vì sao lặp đi lặp lại một từ hay gặp không làm BLEU tăng?
2. 2Câu dịch chỉ 4 từ, mọi từ và mọi cụm đều trúng tham chiếu dài 7 từ. BLEU sẽ thế nào?
3. 3Khi nào BLEU-4 bằng đúng 0 dù bản dịch có nhiều từ trùng?