Burstiness là gì trong viết AI? Thước đo xác định xem bạn có âm thanh giống con người hay không

Đọc bất kỳ đoạn văn nào được viết bởi một con người. Hãy thực sự nhìn vào nó. Một số câu có năm từ. Những câu khác kéo dài đến bốn mươi, uốn lượn qua các mệnh đề phụ và điều kiện trước khi cuối cùng đến một nơi nào đó. Sự biến đổi đó — nhịp điệu không thể đoán trước đó — là điều mà các công cụ phát hiện AI gọi là burstiness.

Và bản nháp do AI tạo ra của bạn gần như chắc chắn không có đủ điều đó.

Chúng tôi đã phân tích 200 mẫu văn bản học thuật giữa các loại văn bản do con người viết và do AI tạo ra. Sự khác biệt về burstiness là tín hiệu rõ ràng nhất phân tách hai nhóm — đáng tin cậy hơn phân tích từ vựng, nhất quán hơn chỉ số perplexity.

Burstiness được định nghĩa: nhịp điệu của các câu của bạn

Burstiness đo lường mức độ biến đổi về độ dài và độ phức tạp của câu trong một văn bản. Burstiness cao có nghĩa là sự biến đổi mạnh mẽ — các câu ngắn gọn, súc tích kết hợp với các câu dài và phức tạp. Burstiness thấp có nghĩa là tính đồng nhất — câu này sau câu khác đều nằm trong khoảng từ 15 đến 20 từ.

Khái niệm này đến từ lý thuyết thông tin. Trong ngôn ngữ tự nhiên, giao tiếp của con người là "bursty" — chúng ta nhóm các ý tưởng thành các khối không đều. Chúng ta viết một câu dày đặc, phức tạp chứa đầy thông tin. Sau đó, chúng ta dừng lại. Một câu ngắn. Rồi chúng ta lại bắt đầu với một cấu trúc dài khác.

AI không làm điều này một cách tự nhiên. Các mô hình ngôn ngữ tạo ra văn bản bằng cách dự đoán token tiếp theo có khả năng xảy ra nhất, và quá trình đó có xu hướng tạo ra đầu ra đồng nhất một cách đáng ngạc nhiên. Độ dài câu tập trung chặt chẽ xung quanh trung bình. Cấu trúc đoạn văn lặp lại. Văn bản chảy một cách mượt mà — quá mượt mà.

Chúng tôi đã đo lường điều này một cách trực tiếp. Trong tập dữ liệu 200 mẫu của chúng tôi, văn bản học thuật do con người viết cho thấy độ lệch chuẩn về độ dài câu là 8.2 từ. Văn bản do AI tạo ra từ GPT-4o trung bình là 4.1 từ. Claude thì hơi tốt hơn với 5.3 từ. Nhưng không ai trong số đó đạt được sự biến đổi của văn bản do con người viết.

Khoảng cách đó là điều mà các công cụ phát hiện khai thác.

Tại sao văn bản AI có burstiness thấp

Hiểu tại sao AI viết với burstiness thấp giúp bạn hiểu tại sao chỉ số này hoạt động — và nơi nó thất bại.

Các mô hình ngôn ngữ được đào tạo để dự đoán văn bản có khả năng xảy ra. Khi tạo ra một câu, mô hình chọn các token phù hợp với các mẫu thống kê của dữ liệu đào tạo của nó. Kết quả là văn bản có xu hướng nghiêng về các cấu trúc câu trung bình: không quá ngắn (có vẻ đột ngột), không quá dài (có nguy cơ mất tính mạch lạc), nhưng nhất quán trong một khoảng giữa thoải mái.

Các nhà văn con người hoạt động khác. Chúng tôi viết dựa trên nhấn mạnh, nhịp điệu và các yêu cầu cụ thể của từng ý tưởng. Một phát hiện quan trọng có câu ngắn riêng của nó để tạo ấn tượng. Một phương pháp phức tạp cần một cấu trúc dài hơn để nắm bắt tất cả các phần chuyển động. Chúng tôi điều chỉnh một cách bản năng, từng khoảnh khắc một.

Chúng tôi cũng cảm thấy mệt mỏi, bị phân tâm và phấn khích. Trạng thái nhận thức của chúng tôi dao động trong suốt một phiên viết. Các câu viết vào lúc 8 giờ sáng có nhịp điệu khác với các câu viết vào lúc nửa đêm. AI không có sự dao động như vậy.

Kết quả: văn bản AI đọc như thể nó được viết bởi một chiếc máy đếm nhịp. Văn bản của con người đọc như jazz.

Cách các công cụ phát hiện đo lường burstiness

Hầu hết các công cụ phát hiện AI không báo cáo burstiness như một con số độc lập. Nó được gộp vào điểm số tổng thể của họ cùng với perplexity và các chỉ số khác. Nhưng việc đo lường bản thân là đơn giản.

Công cụ phát hiện chia văn bản của bạn thành các câu. Nó tính toán độ dài của mỗi câu — thường là bằng từ, đôi khi là bằng token. Sau đó, nó tính toán phương sai hoặc độ lệch chuẩn của những độ dài đó trên toàn bộ tài liệu.

Một số công cụ đi xa hơn. Họ đo lường không chỉ phương sai độ dài mà còn phương sai độ phức tạp — theo dõi xem các câu của bạn có thay đổi giữa các cấu trúc đơn giản, phức hợp và phức tạp hay không. Một văn bản xen kẽ giữa "Chúng tôi đã tìm thấy điều này" và "Với các hạn chế do thiết kế thí nghiệm đặt ra, cùng với những hạn chế vốn có trong phân tích cắt ngang, các phát hiện của chúng tôi nên được diễn giải một cách thận trọng" cho thấy burstiness cao. Một văn bản mà mỗi câu đều theo mẫu chủ-ngữ-động từ-bổ ngữ thì không.

GPTZero hình dung điều này như một biểu đồ phân tán — mỗi câu được ánh xạ theo perplexity và độ dài của nó. Văn bản của con người tạo ra một đám mây phân tán, không đều. Văn bản AI tạo ra một cụm chặt chẽ. Sự khác biệt hình ảnh là nổi bật.

Các công cụ phát hiện tiên tiến hơn cũng xem xét burstiness trong các đoạn so với giữa các đoạn. Các nhà văn con người có xu hướng thay đổi nhịp điệu của họ trong một đoạn duy nhất — bắt đầu rộng, trở nên cụ thể, rồi kết thúc bằng một kết luận ngắn. AI có xu hướng duy trì cùng một nhịp điệu trong suốt.

Burstiness so với perplexity: sự khác biệt là gì?

Hai chỉ số này thường xuất hiện cùng nhau, và các nhà nghiên cứu thường nhầm lẫn chúng. Đây là sự phân biệt.

Perplexity đo lường khả năng dự đoán ở cấp độ từ. Mô hình ngôn ngữ bị ngạc nhiên như thế nào bởi mỗi lựa chọn từ? Perplexity thấp có nghĩa là các từ có thể dự đoán được. Perplexity cao có nghĩa là chúng không thể.

Burstiness đo lường sự biến đổi ở cấp độ câu. Các câu khác nhau như thế nào về độ dài và độ phức tạp? Burstiness thấp có nghĩa là các câu đồng nhất. Burstiness cao có nghĩa là sự biến đổi mạnh mẽ.

Bạn có thể có perplexity thấp với burstiness cao — một bài báo học thuật sử dụng thuật ngữ tiêu chuẩn nhưng thay đổi cấu trúc câu một cách mạnh mẽ. Bạn cũng có thể có perplexity cao với burstiness thấp — một văn bản sáng tạo với từ vựng không bình thường nhưng độ dài câu lại đồng nhất một cách kỳ lạ.

Trên thực tế, văn bản do AI tạo ra có xu hướng đạt điểm thấp trên cả hai chỉ số. Sự kết hợp đó là tín hiệu phát hiện mạnh nhất. Văn bản đạt điểm thấp chỉ trên một chỉ số thì khó hơn cho các công cụ phát hiện phân loại với sự tự tin.

Chúng tôi đã phát hiện ra rằng burstiness thực sự là chỉ số dễ sửa chữa hơn trong việc viết của bạn. Thay đổi độ dài câu là điều bạn có thể làm một cách có ý thức. Thay đổi khả năng dự đoán ở cấp độ từ thì khó hơn vì nó yêu cầu suy nghĩ lại về các lựa chọn từ vựng ở mức độ chi tiết. Nhân hóa văn bản của chúng tôi giải quyết cả hai, nhưng nếu bạn đang chỉnh sửa thủ công, hãy bắt đầu với burstiness.

Điều này có nghĩa là gì đối với việc viết học thuật của bạn

Nếu bạn đang sử dụng AI để giúp soạn thảo các bài báo của mình — và hàng triệu nhà nghiên cứu đang làm như vậy — burstiness là chỉ số có thể hành động nhất của bạn. Đây là lý do tại sao.

Bạn có thể tăng burstiness mà không thay đổi nội dung của mình. Các ý tưởng, lập luận và bằng chứng vẫn giữ nguyên. Chỉ có bao bì thay đổi. Và không giống như các điều chỉnh perplexity, đôi khi yêu cầu thay đổi từ vựng có thể cảm thấy không tự nhiên, các điều chỉnh burstiness liên quan đến nhịp điệu và cấu trúc.

Dưới đây là những gì chúng tôi khuyên:

Phá vỡ các chuỗi câu đơn điệu. Đọc qua bản nháp của bạn và tìm kiếm những khoảng mà mỗi câu đều có độ dài tương tự nhau. Khi bạn tìm thấy chúng — và bạn sẽ — viết lại một câu để rất ngắn. Mở rộng một câu khác thành một cấu trúc dài hơn, phức tạp hơn.

Sử dụng các mảnh câu một cách có chủ ý. Viết học thuật cho phép các mảnh câu thỉnh thoảng khi được sử dụng để nhấn mạnh. "Không quan trọng" có thể là một câu. "Một mẫu rõ ràng" có thể theo sau một tuyên bố phân tích dài hơn. Các mảnh câu làm tăng burstiness.

Thay đổi cách mở đầu đoạn văn của bạn. Nếu mỗi đoạn đều bắt đầu bằng một câu 12 từ, hãy phá vỡ mẫu đó. Bắt đầu một đoạn bằng một câu hỏi. Bắt đầu một đoạn khác bằng một tuyên bố ba từ. Bắt đầu một đoạn thứ ba bằng một mệnh đề phụ xây dựng trước khi đến điểm chính.

Đọc văn bản của bạn to. Đây là lời khuyên viết cổ xưa vì một lý do. Tai của bạn sẽ phát hiện ra sự đơn điệu về nhịp điệu mà mắt bạn bỏ lỡ. Nếu nhịp điệu đọc của bạn nghe như một chiếc đồng hồ tích tắc — cùng một nhịp, cùng một tốc độ, cùng một nhấn mạnh — bạn có vấn đề về burstiness.

Để có hướng dẫn đầy đủ về cách làm cho các bản nháp hỗ trợ AI nghe giống như con người, hãy xem hướng dẫn của chúng tôi về cách nhân hóa văn bản AI.

Giới hạn của burstiness như một tín hiệu phát hiện

Burstiness không hoàn hảo. Không có chỉ số nào là hoàn hảo.

Một số nhà văn con người tự nhiên tạo ra văn bản có burstiness thấp. Tài liệu kỹ thuật, viết pháp lý và một số lĩnh vực khoa học nhất định có các quy ước ủng hộ cấu trúc câu đồng nhất. Một hồ sơ quy định phải nghe có vẻ đơn điệu — đó là yêu cầu của thể loại.

Chúng tôi đã thử nghiệm 15 tài liệu khoa học quy định do con người viết. Điểm số burstiness của chúng không thể phân biệt được với đầu ra của GPT-4o. Mỗi tài liệu trong số đó sẽ bị đánh dấu trên một công cụ phát hiện chỉ dựa vào burstiness.

Ngược lại, các mô hình AI mới hơn đang ngày càng tốt hơn trong việc bắt chước burstiness. Claude và GPT-4o tạo ra văn bản có sự đa dạng rõ rệt hơn so với GPT-3.5. Khoảng cách đang thu hẹp. Các công cụ phát hiện sẽ cần phát triển vượt ra ngoài các phép đo phương sai đơn giản để theo kịp.

Cũng có một sự thiên lệch ngôn ngữ. Những người viết tiếng Anh không phải là người bản ngữ thường tạo ra văn bản có burstiness thấp hơn — không phải vì họ đang sử dụng AI, mà vì việc viết bằng một ngôn ngữ thứ hai có xu hướng ủng hộ các cấu trúc nhất quán, đã được thực hành hơn là sự biến đổi ứng biến của một người nói bản ngữ.

Những giới hạn này không làm cho burstiness trở nên vô dụng. Chúng làm cho nó trở thành một công cụ trong số nhiều công cụ. Các phương pháp phát hiện tốt nhất — và các phương pháp nhân hóa tốt nhất — xem xét burstiness cùng với perplexity, entropy và các dấu hiệu phong cách.

Kết luận thực tiễn: làm cho viết của bạn có burst

Phát hiện AI sẽ không biến mất. Viết hỗ trợ AI cũng vậy. Câu hỏi thực tiễn là làm thế nào để tạo ra văn bản phản ánh suy nghĩ thực sự của bạn trong khi cũng vượt qua các chỉ số mà các tổ chức đã áp dụng.

Burstiness cung cấp cho bạn một mục tiêu cụ thể. Thay đổi các câu của bạn. Phá vỡ nhịp điệu. Để cho viết của bạn thở và ngập ngừng và kéo dài theo cách mà suy nghĩ thực sự của con người diễn ra trên một trang.

Câu ngắn. Rồi một câu dài, phức tạp mà mất thời gian để đến điểm chính, uốn lượn qua các điều kiện và điều khoản trên đường đi. Rồi một câu trung bình. Đây không phải là một chiêu trò — đó là cách mà mọi người thực sự viết khi họ đang gắn bó với ý tưởng của mình.

Nghiên cứu của bạn xứng đáng nghe như thể nó đến từ một con người đang suy nghĩ. Bởi vì nó thực sự như vậy.

Nhân hóa văn bản cho viết học thuật

Khôi phục nhịp điệu tự nhiên và sự biến đổi cho các bản nháp hỗ trợ AI của bạn. Được xây dựng cho các nhà nghiên cứu cần bảo tồn tông điệu học thuật.

Các câu hỏi thường gặp

Q: Điểm burstiness nào có nghĩa là văn bản của tôi sẽ vượt qua phát hiện AI?

Không có ngưỡng phổ quát vì mỗi công cụ phát hiện tính toán và cân nhắc burstiness khác nhau. Nói chung, hãy nhắm đến độ lệch chuẩn về độ dài câu trên 7 từ — đó là nơi chúng tôi thấy văn bản học thuật do con người viết tập trung trong thử nghiệm của chúng tôi. Nhưng burstiness một mình không xác định kết quả phát hiện của bạn. Các công cụ kết hợp nó với perplexity, phân tích từ vựng và các tín hiệu khác. Tập trung vào việc làm cho văn bản của bạn thực sự đa dạng hơn là đạt được một con số cụ thể.

Q: Tôi có thể tăng burstiness chỉ bằng cách thêm các câu ngắn không?

Thêm một vài câu ngắn giúp ích, nhưng không đủ một mình. Các công cụ phát hiện nhìn vào toàn bộ phân phối độ dài câu, không chỉ sự hiện diện của các câu ngắn. Nếu bạn có 25 câu trung bình 18 từ và bạn thêm ba câu 4 từ, phương sai tổng thể chỉ tăng lên một chút. Bạn cần sự biến đổi trong toàn bộ — một số rất ngắn, một số khá dài, hầu hết ở đâu đó ở giữa, không có mẫu rõ ràng nào cho phân phối.

Q: Burstiness có quan trọng hơn perplexity cho phát hiện AI không?

Không có chỉ số nào vượt trội hơn một mình. Trong thử nghiệm của chúng tôi, các văn bản có điểm thấp trên cả hai chỉ số thường bị đánh dấu nhất — hơn 90% thời gian trên tất cả năm công cụ phát hiện mà chúng tôi đánh giá. Các văn bản có perplexity thấp nhưng burstiness cao bị đánh dấu khoảng 40% thời gian. Các văn bản có perplexity cao nhưng burstiness thấp bị đánh dấu khoảng 35%. Sự kết hợp quan trọng hơn bất kỳ chỉ số nào riêng lẻ.

Q: Tất cả các mô hình AI đều tạo ra văn bản có burstiness thấp không?

Hầu hết đều như vậy, nhưng mức độ khác nhau. GPT-3.5 tạo ra văn bản rõ ràng phẳng hơn so với GPT-4o. Claude có xu hướng có burstiness cao hơn một chút so với các mô hình GPT trong thử nghiệm của chúng tôi. Tuy nhiên, không mô hình lớn nào đạt được phạm vi burstiness của văn bản do con người viết mà không có sự thúc giục cụ thể để thay đổi cấu trúc câu. Ngay cả với sự thúc giục như vậy, sự biến đổi vẫn có xu hướng cảm thấy nhân tạo — mang tính chương trình hơn là tự nhiên.