Nhãn BIO và chấm theo span

Sửa cả hai hàng nhãnTP FP FN hiện rõTính lại thật

Nhãn BIO và chấm theo span

Mô hình nhận dạng thực thể gán nhãn cho từng token, nhưng người ta chấm nó theo cả cụm. Hai cách đếm ấy có thể lệch nhau hơn ba mươi điểm phần trăm trên đúng một câu.

Bài toán nhận dạng thực thể có tên yêu cầu tìm ra những cụm từ như tên người, tên tổ chức, tên địa danh. Cách phổ biến để biến nó thành bài gán nhãn từng token là lược đồ BIO: nhãn B-PER đánh dấu token mở đầu một thực thể loại PER, nhãn I-PER đánh dấu token nằm trong thực thể đó, còn O là token không thuộc thực thể nào. Tiền tố B tồn tại chỉ vì một lý do: để hai thực thể cùng loại nằm sát nhau không dính thành một.

Chỗ dễ hiểu nhầm nằm ở bước sau. Mô hình xuất ra một nhãn cho mỗi token, nhưng cái người ta báo cáo trong bài báo lại là precision, recall, F1 theo span, tức theo từng thực thể trọn vẹn. Một span chỉ được tính là đúng khi trùng cả biên trái, biên phải và loại thực thể. Sim dưới đây cho bạn sửa cả hàng nhãn đúng lẫn hàng nhãn mô hình đoán, rồi hiển thị hai cách chấm cạnh nhau.

Nhãn BIO · chấm theo token và chấm theo span

Chuỗi BIO sai luậtI sau O: mở span mớiI sau O: bỏ qua cả cụm

Theo token 94.1%F1 span 57.1%

Câu cần gán nhãn ✎ sửa đượcNguyễn Văn An làm việc tại Đại học Kiến trúc Đà Nẵng ở thành phố Đà Nẵng

Mỗi ô: token, rồi nhãn đúng, rồi nhãn mô hình đoán✎ bấm vào nhãn để sửa

0Nguyễn

1Văn

2An

3làm

4việc

5tại

6Đại

7học

8Kiến

9trúc

10Đà

11Nẵng

12ở

13thành

14phố

15Đà

16Nẵng

Chỉ một token sai nên chấm theo token vẫn 94,1%, nhưng span tổ chức bị cắt cụt và sinh thêm một span rác, F1 khớp chính xác rơi xuống 57,1%.

Span của nhãn đúng 3

PERNguyễn Văn An[0,2]ORGĐại học Kiến trúc Đà Nẵng[6,11]LOCĐà Nẵng[15,16]

Span của nhãn đoán 4

PERNguyễn Văn An[0,2]ORGĐại học Kiến trúc Đà[6,10]LOCNẵng[11,11]LOCĐà Nẵng[15,16]

viền liền trùng khít với hàng kiaviền đứt chỉ chồng lấn, cùng loạiviền chấm không ghép được với span nào

94.1%

chấm theo token (16/17)

57.1%

F1 span, khớp chính xác

85.7%

F1 span, khớp một phần

0

chỗ BIO sai luật

Cách chấm span	TP	FP	FN	Precision	Recall	F1
Khớp chính xác	2	2	1	50.0%	66.7%	57.1%
Khớp một phần	3	1	0	75.0%	100.0%	85.7%

Chấm theo token đang rộng lượng hơn 37.0 điểm phần trăm: 94.1% so với 57.1%. Một token lệch bên trong một thực thể dài có thể xoá trọn span đó, trong khi nó chỉ làm hụt một ô của tỉ lệ token.

Quy ước đang dùng cho chuỗi sai luật: mở span mới. Hai hàng nhãn hiện tại đều hợp luật BIO, không có chỗ nào để quy ước can thiệp, nên đổi quy ước lúc này không đổi số nào. Bấm Chuỗi sai luật để thấy hai quy ước cho hai kết quả khác nhau.

Bấm vào một nhãn để xoay vòng qua O, B-PER, I-PER, B-ORG, I-ORG, B-LOC, I-LOC. Hàng trên là nhãn đúng, hàng dưới là nhãn mô hình đoán, cả hai đều sửa được. Muốn thấy điều bài này nói, bấm Đoán hoàn hảo để mọi số về 100%, rồi bấm đúng một nhãn I bên trong một thực thể dài: chấm theo token gần như không nhúc nhích còn F1 span rơi thẳng. Bấm vào nhãn B mở đầu thực thể thì F1 span không đổi, vì với quy ước mở span mới thì một I-X treo ngay sau O lại mở đúng span cũ.

Lệch một token là mất trọn một span

Trạng thái mở đầu của sim là preset Lệch một token. Câu có 17 token, hàng đoán chỉ sai đúng một nhãn: token số 11, chữ Nẵng của tên trường, bị gọi là B-LOC thay vì I-ORG.

Chấm theo token thì con số gần như không nhúc nhích: 16 trên 17 token trùng nhãn, tức 94,1%. Chấm theo span thì tan hoang:

• Hàng nhãn đúng cho ba span: PER[0,2], ORG[6,11], LOC[15,16].
• Hàng nhãn đoán cho bốn span: PER[0,2], ORG[6,10], LOC[11,11], LOC[15,16].
• Trùng khít chỉ có hai, nên TP bằng 2. Hai span thừa là FP, một span bị bỏ sót là FN.
• Precision bằng 2/4 tức 50,0%, recall bằng 2/3 tức 66,7%, F1 bằng 4/7 tức 57,1%.

Một token sai làm hai việc cùng lúc: nó cắt cụt span tổ chức thành ORG[6,10] nên span đúng ORG[6,11] coi như trượt, và nó đẻ thêm một span địa danh giả LOC[11,11]. Chấm theo token chỉ mất một ô trong mẫu số 17, chấm theo span mất một TP và lãnh thêm hai FP. Khoảng cách giữa hai con số ở trạng thái mở đầu là 37,0 điểm phần trăm.

Muốn tự tay dựng lại hiệu ứng đó, bấm Đoán hoàn hảo để mọi số về 100%, rồi bấm đúng một nhãn I bên trong một thực thể dài. Bấm vào token số 11, tức nhãn I-ORG cuối cùng của tên trường, thì chấm theo token tụt từ 100% xuống 94,1% còn F1 span tụt từ 100% xuống 57,1%, đúng bằng trạng thái mở đầu. Bấm vào một nhãn I-ORG nằm hẳn ở giữa, ví dụ token số 9, thì thực thể bị chẻ làm đôi và sinh thêm một span rác ở giữa, nên hàng đoán có tới năm span và F1 khớp chính xác còn thấp hơn nữa, 50,0%.

Có một chỗ ngược đời đáng nhớ: bấm vào nhãn B mở đầu một thực thể lại không đổi F1 span chút nào. Đổi B-ORG ở token 6 thành I-ORG cho ra một I treo ngay sau O, mà quy ước mặc định của sim là mở span mới, nên span tổ chức được dựng lại y nguyên. Chấm theo token vẫn tụt xuống 94,1% vì nhãn rõ ràng đã khác. Chuyển ô chọn sang bỏ qua cả cụm thì cùng cú bấm ấy lại xoá sạch span tổ chức.

Khớp một phần chỉ nới chứ không cứu

Vì chấm khớp chính xác quá khắc nghiệt, một số nghiên cứu báo thêm khớp một phần: span đoán được tính là đúng khi nó cùng loại và chồng lấn ít nhất một token với một span đúng chưa bị ghép. Ở trạng thái mở đầu, ORG[6,10] chồng lấn ORG[6,11] nên được tính, TP lên 3, F1 lên 85,7%.

Nhưng khớp một phần không phải cây đũa thần, và có hai chỗ nó bó tay:

• Bấm Đúng biên, sai loại. Cả hai biên đều đúng, chỉ loại bị đổi từ LOC sang ORG. Khớp một phần vẫn đòi cùng loại, nên nó cho đúng con số như khớp chính xác: 66,7%.
• Span LOC[11,11] ở trạng thái mở đầu chồng lấn span đúng ORG[6,11], nhưng khác loại, nên vẫn nằm nguyên trong FP.

Cả hai cách chấm ở đây đều ghép span một đối một: mỗi span đoán bắt cặp nhiều nhất một span đúng. Nhờ vậy luôn có FP bằng số span đoán trừ TP, và FN bằng số span đúng trừ TP. Bộ ghép khớp một phần ưu tiên bắt các cặp trùng khít trước, rồi mới ghép phần còn lại theo độ chồng lấn lớn nhất, nên F1 khớp một phần không bao giờ nhỏ hơn F1 khớp chính xác. Đó là một tính chất được cổng kiểm số quét vét cạn trên toàn bộ 117.649 cặp chuỗi nhãn dài 3 token, mỗi cặp chấm lại dưới cả hai quy ước nên tổng cộng 235.298 lượt.

Nói cho sòng phẳng thì trên chính trang này, cái thứ tự "trùng khít trước" không bao giờ đổi được con số nào. Một chuỗi BIO không có cách nào diễn tả hai thực thể chồng lên nhau, nên các span rút ra từ hai hàng nhãn luôn rời nhau, và với đầu vào rời nhau thì ghép tham lam một lượt cũng ra đúng kết quả ấy. Luật ưu tiên chỉ thật sự cắn khi ai đó đưa thẳng vào bộ ghép hai span chồng nhau, việc mà giao diện không làm được nhưng hàm thì cho phép, nên cổng kiểm số khoá riêng ca đó.

Token thấp mà span cao cũng xảy ra

Đừng vội kết luận chấm theo token luôn cho số đẹp hơn. Bấm Bỏ sót tổ chức: mô hình gán O cho cả sáu token của tên trường.

• Chấm theo token rơi xuống 11 trên 17, tức 64,7%, vì sai tận sáu token.
• Chấm theo span lại là TP bằng 2, FP bằng 0, FN bằng 1. Precision bằng 100% vì mô hình không đoán bừa span nào, recall bằng 66,7%, F1 bằng 80%.

Sai nhiều token nhưng sai gọn trong một thực thể thì chỉ mất một span. Sai ít token nhưng rải vào giữa nhiều thực thể thì mất nhiều span. Hai cách chấm không xếp hạng mô hình theo cùng một chiều, nên trộn lẫn chúng khi so hai bài báo là một lỗi thật chứ không phải chuyện nhỏ.

Chuỗi BIO sai luật và quy ước của bài này

Mô hình gán nhãn từng token độc lập nên hoàn toàn có thể xuất ra chuỗi vi phạm luật BIO, ví dụ một I-PER đứng ngay sau O, hoặc một I-ORG nối vào B-PER. Không có định nghĩa chuẩn cho những trường hợp đó, và đây chính là chỗ hai bộ chấm khác nhau in ra hai con số khác nhau cho cùng một đầu ra. Có hai quy ước đang sống song song:

• Mở span mới. Nhãn I-X bị treo được coi như B-X, tức mở một span mới. Đây là cách script conlleval của CoNLL và thư viện seqeval ở chế độ mặc định làm.
• Bỏ qua cả cụm. Nhãn I-X bị treo, và mọi I-X cố nối tiếp nó, bị vứt như thể chúng là O. Đây là seqeval ở chế độ nghiêm ngặt với lược đồ IOB2.

Ô chọn ở thanh công cụ cho bạn đổi giữa hai quy ước, và sim luôn hiện số vị trí sai luật đang có. Bấm Chuỗi sai luật rồi đổi qua đổi lại: cùng một hàng nhãn đoán, cùng một hàng nhãn đúng, F1 khớp chính xác nhảy giữa 66,7% và 80,0%. Khi hai hàng nhãn đều hợp luật thì hai quy ước cho kết quả y hệt nhau, và sim nói thẳng điều đó thay vì để bạn tưởng cái ô chọn bị hỏng.

Vài quy ước khác của bài, nói ra để bạn khỏi phải đoán:

• Bài tách token bằng khoảng trắng thuần. Bộ tách từ tiếng Việt thật sẽ gộp Đà Nẵng thành một đơn vị và làm đổi mọi con số trên trang.
• Khi không có span đoán nào thì precision được quy ước bằng 1, khi không có span đúng nào thì recall được quy ước bằng 1, và câu rỗng cho độ chính xác token bằng 1. Nhờ vậy hai hàng nhãn giống hệt nhau luôn cho 1 ở mọi độ đo, kể cả khi cả hai đều toàn O. Nhiều thư viện lại chọn 0 cho các trường hợp này. Đó là quy ước, không phải chân lý, nên khi so số với một bộ chấm khác thì phải kiểm chỗ này trước.
• Câu dài quá 40 token bị cắt, và sim báo rõ đã bỏ bao nhiêu token thay vì lặng lẽ rút ngắn.

Điều rút ra

Chấm theo token trả lời câu hỏi "mô hình gán đúng bao nhiêu nhãn", chấm theo span trả lời câu hỏi "mô hình tìm đúng bao nhiêu thực thể". Người dùng cuối chỉ quan tâm câu thứ hai, nên đó là con số phải báo cáo. Một độ chính xác token 94% nghe rất đẹp vẫn có thể che một F1 span 57%, tức trong bốn thực thể mô hình lấy ra chỉ có hai cái đúng trọn vẹn.

Câu hỏi tự kiểm0/3 đúngchưa trả lời

1. 1Chuỗi nhãn B-PER I-PER B-PER sinh ra mấy span?
2. 2Một câu 17 token, mô hình sai đúng một nhãn, ở token cuối của một thực thể sáu token. Chuyện gì xảy ra với hai cách chấm?
3. 3Mô hình gán O cho toàn bộ một tổ chức sáu token, các thực thể còn lại đều đúng. Vì sao precision theo span vẫn bằng 100%?