Burstiness trong viết AI là gì? Chỉ số quyết định liệu bạn có nghe giống con người không

Burstiness là mức độ biến thiên về độ dài và cấu trúc câu trong một bài viết. Văn xuôi do con người viết thường kết hợp câu ngắn với câu dài; văn xuôi do AI tạo ra lại có xu hướng đồng đều, với các câu có độ dài trung bình. Các công cụ phát hiện AI đo lường sự biến thiên này, và burstiness thấp là một trong những tín hiệu mạnh nhất cho thấy văn bản được viết bằng máy.

Hãy đọc bất kỳ đoạn văn nào do con người viết. Thực sự nhìn kỹ nó. Có những câu chỉ năm từ. Những câu khác kéo dài tới bốn mươi từ, uốn lượn qua các mệnh đề phụ và những điều kiện bổ sung trước khi cuối cùng đi đến một kết luận nào đó. Sự biến thiên đó, nhịp điệu khó đoán đó, chính là điều mà các công cụ phát hiện AI gọi là burstiness.

Và bản nháp do AI tạo ra của bạn gần như chắc chắn không có đủ yếu tố này.

Chúng tôi đã phân tích 200 mẫu văn bản học thuật thuộc các nhóm do con người viết và do AI tạo ra. Sự khác biệt về burstiness là tín hiệu rõ ràng nhất để phân biệt hai nhóm, đáng tin cậy hơn phân tích vốn từ, và nhất quán hơn so với perplexity đơn lẻ.

Burstiness được định nghĩa: nhịp điệu của các câu văn của bạn

Burstiness đo lường mức độ độ dài và độ phức tạp của câu thay đổi trong một văn bản. Burstiness cao có nghĩa là sự biến thiên mạnh, các câu ngắn, dứt khoát xen lẫn với những câu dài, cầu kỳ. Burstiness thấp có nghĩa là tính đồng đều, câu nào câu nấy cũng rơi vào cùng một khoảng 15 đến 20 từ.

Khái niệm này xuất phát từ lý thuyết thông tin. Trong ngôn ngữ tự nhiên, giao tiếp của con người mang tính "bursty", chúng ta nhóm các ý tưởng thành những cụm không đều. Chúng ta viết một câu dày đặc, phức tạp, chứa đầy thông tin. Rồi dừng lại. Một câu ngắn. Sau đó lại tiếp tục với một cấu trúc dài khác.

AI không làm điều này một cách tự nhiên. Các mô hình ngôn ngữ tạo ra văn bản bằng cách dự đoán token tiếp theo có xác suất cao nhất, và quá trình đó có xu hướng tạo ra đầu ra đồng đều một cách đáng chú ý. Độ dài câu tập trung rất sát quanh giá trị trung bình. Cấu trúc đoạn văn lặp lại. Văn bản trôi chảy, quá trôi chảy.

Chúng tôi đã đo trực tiếp điều này. Trên bộ dữ liệu 200 mẫu của chúng tôi, văn bản học thuật do con người viết cho thấy độ lệch chuẩn về độ dài câu là 8.2 từ. Văn bản do GPT-4o tạo ra trung bình là 4.1 từ. Claude tốt hơn đôi chút với 5.3 từ. Nhưng không mô hình nào tiệm cận được mức độ biến thiên của văn bản do con người viết.

Khoảng cách đó chính là điều mà các bộ phát hiện khai thác.

Tại sao văn bản AI có burstiness thấp

Hiểu vì sao AI viết với burstiness thấp giúp bạn hiểu vì sao chỉ số này hoạt động, và nó thất bại ở đâu.

Các mô hình ngôn ngữ được huấn luyện để dự đoán văn bản có xác suất cao. Khi tạo ra một câu, mô hình chọn các token phù hợp với các mẫu thống kê trong dữ liệu huấn luyện của nó. Kết quả là văn bản có xu hướng nghiêng về các cấu trúc câu ở mức trung vị: không quá ngắn, điều này sẽ tạo cảm giác cụt, không quá dài, điều này sẽ làm tăng rủi ro về tính mạch lạc, mà luôn ở một khoảng trung bình dễ chịu.

Người viết viết khác đi. Chúng ta viết dựa trên mức độ nhấn mạnh, nhịp điệu, và những đòi hỏi cụ thể của từng ý tưởng. Một phát hiện quan trọng sẽ có riêng một câu ngắn để tạo tác động. Một phương pháp luận phức tạp cần một cấu trúc dài hơn để nắm bắt toàn bộ các thành phần đang vận hành. Chúng ta điều chỉnh một cách bản năng, từng khoảnh khắc.

Chúng ta cũng mệt mỏi, bị xao nhãng, và hứng khởi. Trạng thái nhận thức của chúng ta dao động trong suốt một phiên viết. Những câu được viết lúc 8 AM có các mẫu nhịp điệu khác với những câu được viết lúc nửa đêm. AI không có sự dao động như vậy.

Kết quả là, văn bản AI đọc như thể được viết bởi một máy đếm nhịp. Văn bản của con người đọc như nhạc jazz.

Cách bộ phát hiện đo độ bùng nổ

Hầu hết các bộ phát hiện AI không báo cáo độ bùng nổ như một con số độc lập. Nó được lồng vào cơ chế chấm điểm tổng thể của chúng, cùng với độ bất định và các chỉ số khác. Nhưng bản thân phép đo thì rất đơn giản.

Bộ phát hiện chia văn bản của bạn thành các câu. Nó tính độ dài của từng câu - thường tính bằng từ, đôi khi tính bằng token. Sau đó nó tính phương sai hoặc độ lệch chuẩn của các độ dài đó trên toàn bộ tài liệu.

Một số công cụ đi xa hơn. Chúng không chỉ đo phương sai độ dài mà còn đo phương sai độ phức tạp - theo dõi xem các câu của bạn có chuyển giữa cấu trúc đơn, ghép và phức hay không. Một văn bản luân phiên giữa "We found this" và "Given the constraints imposed by the experimental design, together with the limitations inherent in cross-sectional analysis, our findings should be interpreted cautiously" cho thấy độ bùng nổ cao. Một văn bản mà mọi câu đều theo mô thức chủ ngữ, động từ, tân ngữ, bổ ngữ thì không.

GPTZero trực quan hóa điều này dưới dạng biểu đồ phân tán - mỗi câu được ánh xạ theo độ bất định và độ dài. Văn bản do con người viết tạo ra một đám mây thưa, không đều. Văn bản do AI tạo ra cho một cụm dày, chặt. Sự khác biệt trực quan là rất rõ.

Các bộ phát hiện tiên tiến hơn cũng xem xét độ bùng nổ bên trong các đoạn văn so với giữa các đoạn văn. Người viết thường có xu hướng thay đổi nhịp điệu trong cùng một đoạn - mở rộng ở đầu, đi vào chi tiết, rồi kết bằng một câu kết luận ngắn. AI có xu hướng duy trì cùng một nhịp điệu xuyên suốt.

Burstiness vs perplexity: sự khác biệt là gì?

Hai chỉ số này thường xuất hiện cùng nhau, và các nhà nghiên cứu thường nhầm lẫn chúng. Dưới đây là điểm khác biệt.

Perplexity đo mức độ dự đoán được ở cấp độ từ. Một mô hình ngôn ngữ ngạc nhiên đến mức nào trước mỗi lựa chọn từ? Perplexity thấp nghĩa là các từ có thể dự đoán được. Perplexity cao nghĩa là chúng không thể dự đoán được.

Burstiness đo mức độ biến thiên ở cấp độ câu. Các câu khác nhau với nhau về độ dài và độ phức tạp đến mức nào? Burstiness thấp nghĩa là các câu đồng đều. Burstiness cao nghĩa là có sự biến thiên rõ rệt.

Bạn có thể có perplexity thấp nhưng burstiness cao, một bài báo học thuật dùng thuật ngữ chuẩn nhưng thay đổi cấu trúc câu rất mạnh. Bạn cũng có thể có perplexity cao nhưng burstiness thấp, một văn bản sáng tạo với vốn từ vựng khác thường nhưng độ dài câu lại đồng đều một cách kỳ lạ.

Trong thực tế, văn bản do AI tạo ra thường có điểm thấp ở cả hai chỉ số. Sự kết hợp đó là tín hiệu phát hiện mạnh nhất. Văn bản chỉ thấp ở một trong hai chỉ số thì các công cụ phát hiện sẽ khó phân loại với độ tin cậy cao hơn nhiều.

Chúng tôi nhận thấy rằng burstiness thực ra là chỉ số dễ khắc phục hơn trong bài viết của bạn. Việc thay đổi độ dài câu là điều bạn có thể chủ động làm. Việc thay đổi mức độ dự đoán được ở cấp độ từ thì khó hơn vì nó đòi hỏi phải xem xét lại lựa chọn từ vựng ở mức độ chi tiết. text humanizer của chúng tôi xử lý cả hai, nhưng nếu bạn chỉnh sửa thủ công, hãy bắt đầu với burstiness.

Điều này có ý nghĩa gì đối với việc viết học thuật của bạn

Nếu bạn đang dùng AI để hỗ trợ soạn thảo các bài viết của mình, và hàng triệu nhà nghiên cứu cũng đang làm như vậy, burstiness là chỉ số có tính hành động nhất của bạn. Đây là lý do.

Bạn có thể tăng burstiness mà không làm thay đổi nội dung. Các ý tưởng, lập luận và bằng chứng vẫn giữ nguyên. Chỉ có cách trình bày là thay đổi. Và khác với các điều chỉnh perplexity, đôi khi đòi hỏi thay đổi từ vựng khiến câu văn nghe thiếu tự nhiên, các điều chỉnh burstiness liên quan đến nhịp điệu và cấu trúc.

Đây là những gì chúng tôi khuyến nghị:

Hãy chia nhỏ các chuỗi câu đơn điệu. Đọc bản thảo của bạn và tìm những đoạn mà mọi câu đều có độ dài gần như giống nhau. Khi bạn phát hiện ra chúng, và bạn sẽ phát hiện ra, hãy viết lại một câu sao cho thật ngắn. Mở rộng một câu khác thành một cấu trúc dài hơn, phức tạp hơn.

Dùng các câu rời một cách có chủ ý. Viết học thuật cho phép thỉnh thoảng dùng câu rời khi cần nhấn mạnh. "Not significant" có thể là một câu. "A clear pattern" có thể đi sau một nhận định phân tích dài hơn. Các câu rời làm tăng burstiness.

Đa dạng hóa cách mở đầu đoạn văn. Nếu mọi đoạn đều bắt đầu bằng một câu 12 từ, hãy phá vỡ khuôn mẫu đó. Bắt đầu một đoạn bằng một câu hỏi. Bắt đầu đoạn khác bằng một mệnh đề ba từ. Bắt đầu đoạn thứ ba bằng một mệnh đề phụ, phát triển dần trước khi đi tới ý chính.

Đọc to văn bản của bạn. Đây là lời khuyên viết lách lâu đời là có lý do. Tai bạn sẽ nhận ra sự đơn điệu về nhịp điệu mà mắt bạn bỏ sót. Nếu nhịp đọc của bạn nghe như tiếng đồng hồ tích tắc, cùng nhịp, cùng tốc độ, cùng nhấn mạnh, thì bạn đang gặp vấn đề về burstiness.

Để xem hướng dẫn đầy đủ về cách làm cho bản thảo có hỗ trợ AI nghe thực sự giống con người, hãy xem hướng dẫn của chúng tôi về cách nhân hóa văn bản AI.

Những hạn chế của burstiness như một tín hiệu phát hiện

Burstiness không hoàn hảo. Không có chỉ số đơn lẻ nào là hoàn hảo.

Một số tác giả là người viết tự nhiên tạo ra văn bản có burstiness thấp. Tài liệu kỹ thuật, văn bản pháp lý, và một số phân ngành khoa học nhất định có những quy ước ưu tiên cấu trúc câu đồng đều. Một hồ sơ pháp lý được kỳ vọng sẽ nghe đơn điệu, đó là yêu cầu của thể loại.

Chúng tôi đã thử nghiệm 15 tài liệu khoa học pháp quy do con người viết. Điểm burstiness của chúng không thể phân biệt được với đầu ra của GPT-4o. Mỗi tài liệu trong số đó đều sẽ bị gắn cờ trên một bộ phát hiện chỉ dựa vào burstiness.

Ở chiều ngược lại, các mô hình AI mới hơn đang ngày càng giỏi hơn trong việc mô phỏng burstiness. Claude và GPT-4o tạo ra văn bản có mức độ đa dạng rõ rệt hơn so với GPT-3.5 trước đây. Khoảng cách đang thu hẹp dần. Các công cụ phát hiện sẽ cần tiến hóa vượt ra ngoài các phép đo phương sai đơn giản để theo kịp.

Cũng có một thiên lệch ngôn ngữ. Những người viết tiếng Anh không phải bản ngữ thường tạo ra văn bản có burstiness thấp hơn, không phải vì họ đang dùng AI, mà vì việc viết bằng ngôn ngữ thứ hai thường thiên về các cấu trúc nhất quán, đã được luyện tập, hơn là sự biến hóa ngẫu hứng của người bản ngữ.

Những hạn chế này không làm cho burstiness trở nên vô dụng. Chúng khiến nó trở thành một công cụ trong số nhiều công cụ. Những cách tiếp cận phát hiện tốt nhất, và cả những cách tiếp cận nhân hóa tốt nhất, đều xem xét burstiness cùng với perplexity, entropy, và các dấu hiệu phong cách.

Cách tăng độ burstiness mà không làm hỏng văn của bạn

1. Cố ý thay đổi cách mở đầu câu. Nếu ba câu liên tiếp cùng bắt đầu bằng chủ ngữ, hãy cấu trúc lại một câu.
2. Tách mỗi câu ghép thứ ba. Một câu trần thuật ngắn sau hai câu dài sẽ khôi phục nhịp điệu.
3. Đọc to các đoạn được gắn cờ. Nhịp đơn điệu có thể nghe thấy trước khi có thể đo lường được.
4. Cắt bớt một từ bổ nghĩa mỗi đoạn. Bản nháp do AI tạo ra thường do dự một cách đồng đều, và việc loại bỏ các từ do dự sẽ làm độ dài câu trở nên không đều, đó chính là điểm mấu chốt.
5. Hãy để cấu trúc gánh phần biến thiên. Một đoạn chỉ một dòng sau một đoạn dày đặc sẽ nâng độ burstiness ở cấp độ văn bản, nơi một số trình phát hiện đo lường nó.

Việc chỉnh sửa thủ công hiệu quả ở quy mô chương nhưng chậm. Một academic humanizer áp dụng cùng loại thay đổi một cách tự động trong khi vẫn bảo toàn trích dẫn và thuật ngữ, dữ liệu chuẩn của chúng tôi về mức độ điều này làm thay đổi kết quả của trình phát hiện nằm trong AI humanizer comparison.

Kết luận thực tiễn: làm cho bài viết của bạn có nhịp điệu bùng nổ

Phát hiện AI sẽ không biến mất. Viết hỗ trợ bởi AI cũng vậy. Câu hỏi thực tiễn là làm thế nào để tạo ra văn bản phản ánh đúng tư duy thực của bạn, đồng thời vẫn vượt qua các thước đo mà các cơ sở đã áp dụng.

Burstiness cho bạn một mục tiêu cụ thể. Hãy thay đổi độ dài câu. Phá vỡ nhịp điệu. Hãy để bài viết của bạn thở, ngập ngừng và giãn ra theo cách mà tư duy con người thực sự vận hành trên trang giấy.

Một câu ngắn. Rồi đến một câu dài, cầu kỳ, mất thời gian để đi tới điểm chính, lần lượt đan xen các điều kiện và giới hạn trên đường đi. Rồi một câu trung bình. Đây không phải là một mánh lới, mà là cách con người thực sự viết khi họ đang gắn bó với ý tưởng của mình.

Nghiên cứu của bạn xứng đáng nghe như thể nó đến từ một con người biết suy nghĩ. Bởi vì nó đúng là như vậy.

Câu hỏi thường gặp

Q: Điểm burstiness nào có nghĩa là bài viết của tôi sẽ vượt qua phát hiện AI?

Không có ngưỡng chung nào vì mỗi bộ phát hiện tính toán và gán trọng số cho burstiness khác nhau. Nói chung, hãy nhắm tới độ lệch chuẩn độ dài câu trên 7 từ, đó là mức chúng tôi thấy văn bản học thuật do con người viết tập trung trong quá trình thử nghiệm. Nhưng burstiness một mình không quyết định kết quả phát hiện của bạn. Các công cụ kết hợp nó với perplexity, phân tích vốn từ vựng và các tín hiệu khác. Hãy tập trung làm cho văn bản của bạn thực sự đa dạng thay vì nhắm tới một con số cụ thể.

Q: Tôi có thể tăng burstiness chỉ bằng cách thêm các câu ngắn không?

Việc thêm một vài câu ngắn có giúp ích, nhưng bản thân nó là chưa đủ. Các bộ phát hiện xem xét toàn bộ phân phối độ dài câu, không chỉ sự xuất hiện của các câu ngắn. Nếu bạn có 25 câu với độ dài trung bình 18 từ và thêm ba câu 4 từ, phương sai tổng thể chỉ tăng lên đôi chút. Bạn cần sự biến thiên xuyên suốt, một số câu rất ngắn, một số khá dài, đa số nằm ở khoảng giữa, và không có khuôn mẫu hiển nhiên nào trong phân phối.

Q: Burstiness có quan trọng hơn perplexity đối với phát hiện AI không?

Không chỉ số nào chiếm ưu thế một cách độc lập. Trong quá trình thử nghiệm của chúng tôi, các văn bản có điểm thấp ở cả hai chỉ số bị gắn cờ nhất quán nhất, trên 90% số lần trên cả năm bộ phát hiện mà chúng tôi đánh giá. Các văn bản có perplexity thấp nhưng burstiness cao bị gắn cờ khoảng 40% số lần. Các văn bản có perplexity cao nhưng burstiness thấp bị gắn cờ khoảng 35% số lần. Sự kết hợp quan trọng hơn từng chỉ số riêng lẻ.

Q: Tất cả các mô hình AI đều tạo ra văn bản có burstiness thấp sao?

Phần lớn là vậy, nhưng mức độ khác nhau. GPT-3.5 tạo ra văn bản phẳng hơn đáng kể so với GPT-4o. Claude có xu hướng có burstiness cao hơn đôi chút so với các mô hình GPT trong quá trình thử nghiệm của chúng tôi. Tuy nhiên, không mô hình lớn nào đạt được dải burstiness của văn bản do con người viết nếu không có prompting cụ thể để thay đổi cấu trúc câu. Ngay cả với prompting như vậy, sự biến thiên vẫn có xu hướng tạo cảm giác nhân tạo, mang tính chương trình hơn là tự nhiên.

Q: Điểm burstiness tốt là gì?

Không có thang đo chuẩn. Mỗi bộ phát hiện tự tính toán thước đo nội bộ của riêng nó và so sánh nó với văn bản được biết là của con người và văn bản được biết là do AI tạo ra. Lời khuyên bạn nên rút ra từ điều này là hãy tìm kiếm những khác biệt rõ rệt trong các câu thay vì chạy theo một con số mà không công cụ nào công bố.

Text Humanizer for Academic Writing

Khôi phục nhịp điệu tự nhiên và sự biến hóa cho các bản thảo hỗ trợ bởi AI của bạn. Được xây dựng cho các nhà nghiên cứu cần giữ nguyên giọng điệu học thuật.