Entropy là một khái niệm xuất phát từ một từ Hy Lạp có thể được dịch là “trở lại” hoặc “chuyển đổi” (được sử dụng theo nghĩa bóng).
Vào thế kỷ XIX, Clausius đã đưa ra khái niệm trong lĩnh vực Vật lý để chỉ một biện pháp rối loạn có thể nhìn thấy trong các phân tử của chất khí. Từ đó trở đi, khái niệm này sẽ được sử dụng với các ý nghĩa khác nhau trong nhiều ngành khoa học, như vật lý, hóa học, khoa học máy tính, toán học và ngôn ngữ học .
Một số định nghĩa là:
Entropy có thể là đại lượng vật lý nhiệt động lực học cho phép chúng ta đo phần không thể sử dụng của năng lượng có trong một hệ thống . Điều này có nghĩa là phần năng lượng này không thể được sử dụng để tạo ra một công việc.
Entropy cũng được hiểu là thước đo sự rối loạn của một hệ thống . Theo nghĩa này, nó được liên kết với một mức độ đồng nhất.
Entropy của sự hình thành một hợp chất hóa học được thiết lập bằng cách đo một hợp chất phù hợp với từng yếu tố cấu thành của nó. Entropy của sự hình thành càng lớn, sự hình thành của nó sẽ càng thuận lợi.
Trong lý thuyết thông tin, entropy là thước đo của sự không chắc chắn tồn tại trước một tập hợp các thông điệp (trong đó chỉ có một tin nhắn sẽ được nhận). Đó là thước đo thông tin cần thiết để giảm hoặc loại bỏ sự không chắc chắn.
Trong trường hợp giao tiếp bằng văn bản, vấn đề rất đơn giản để phân tích (các đơn vị cơ bản, các chữ cái, được xác định rõ); Nếu bạn muốn hiểu thông điệp một cách kỹ lưỡng, bạn có thể giải mã nó một cách chính xác và hiểu cả nghĩa đen và nghĩa bóng . Nhưng trong ngôn ngữ nói, mọi thứ thay đổi một chút, trình bày một số biến chứng.
Không dễ để xác định trong diễn ngôn bằng miệng các yếu tố cơ bản của mã ; các từ nghe có vẻ khác nhau tùy theo người nói chúng và tương tự, chúng có thể có nghĩa khác nhau. Do đó, việc phân loại chúng theo các âm vị và phụ âm là chưa đủ vì điều này sẽ không cho phép chúng ta hiểu cách tổ chức thông tin bởi vì, ví dụ, nếu các âm vị phát âm bị triệt tiêu, thì không thể hiểu được thông điệp.
Theo một nghiên cứu được thực hiện tại Đại học Wisconsin-Madison, một cách tốt để cô lập và hiểu mã miệng là thông qua sự phân hủy phổ của tín hiệu âm thanh. Nhờ kỹ thuật này, chúng tôi cố gắng hiểu cách thức ốc tai lọc và phân tích những gì đến với nó. Ốc tai là một phần của tai chúng ta có chức năng biến đổi âm thanh thành tín hiệu điện và gửi chúng trực tiếp đến não.
Để thực hiện thí nghiệm này, một đơn vị đo lường được gọi là “entropy phổ trên thang đo ốc tai” (CSE) đã được sử dụng, nó cho phép thiết lập các kết nối giữa tín hiệu và tín hiệu đi trước nó ; quyết định những khả năng nào có thể dự đoán tín hiệu bắt đầu từ tín hiệu trước.
Kết quả trả về rằng hai tín hiệu càng giống nhau thì càng dễ dự đoán thứ hai ; Điều này có nghĩa là thông tin chúng tôi lấy từ lần thứ hai gần như không. Tương tự như vậy, chúng càng khác nhau, thông tin được cung cấp bởi tín hiệu thứ hai càng lớn, do đó, nếu nó bị loại bỏ, nó sẽ gây ra hậu quả đáng kể trong việc hiểu diễn ngôn.