Thực đơn
trang chủExcel

Lượng thông tin. Giải bài toán xác định lượng thông tin

Thuộc tính thông tin

Khái niệm “thông tin” được nhiều ngành khoa học sử dụng và có nhiều đặc tính khác nhau, nhưng mỗi ngành lại chú ý đến những đặc tính của thông tin quan trọng nhất đối với nó. Trong khuôn khổ xem xét của chúng tôi, các thuộc tính quan trọng nhất là thuyết nhị nguyên, tính đầy đủ, độ tin cậy, tính đầy đủ, khả năng tiếp cận, tính phù hợp. Chúng ta hãy xem xét kỹ hơn về họ.

Thuyết nhị nguyên của thông tinđặc trưng cho tính hai mặt của nó. Một mặt, thông tin mang tính khách quan do tính khách quan của dữ liệu, mặt khác, nó mang tính chủ quan do tính chủ quan của các phương pháp được sử dụng. Ví dụ, hai người đọc cùng một cuốn sách và đôi khi nhận được những thông tin rất khác nhau. Thông tin khách quan hơn sử dụng các phương pháp có ít yếu tố chủ quan hơn.

Tính đầy đủ của thông tin mô tả mức độ đầy đủ của dữ liệu để đưa ra quyết định hoặc tạo dữ liệu mới dựa trên dữ liệu hiện có. Cả bộ dữ liệu không đầy đủ và dư thừa đều gây khó khăn cho việc thu thập thông tin và đưa ra quyết định phù hợp.

Độ tin cậy của thông tin– đây là thuộc tính đặc trưng cho mức độ tương ứng của thông tin với đối tượng thực với độ chính xác cần thiết. Khi làm việc với một bộ dữ liệu không đầy đủ, độ tin cậy của thông tin có thể được đặc trưng bởi xác suất, ví dụ: khi tung đồng xu, huy hiệu sẽ xuất hiện với xác suất 50%.

Sự đầy đủ của thông tin thể hiện mức độ tương ứng của hình ảnh được tạo ra bằng cách sử dụng thông tin với một đối tượng, quá trình hoặc hiện tượng thực tế. Việc thu thập thông tin đầy đủ là khó khăn khi không có sẵn các phương pháp thích hợp.

Sự sẵn có của thông tin– đây là cơ hội để có được thông tin nếu cần thiết. Tính sẵn có bao gồm hai thành phần: tính sẵn có của dữ liệu và tính sẵn có của phương pháp. Sự vắng mặt của ít nhất một cung cấp thông tin không đầy đủ.

Sự liên quan của thông tin. Thông tin tồn tại trong thời gian, bởi vì tất cả các quá trình thông tin đều tồn tại trong thời gian. Thông tin có liên quan ngày hôm nay có thể trở nên hoàn toàn không cần thiết sau một thời gian. Ví dụ: lịch truyền hình tuần này sẽ không phù hợp với nhiều khán giả truyền hình vào tuần tới.

Thuộc tính(thuộc tính là một phần không thể thiếu của một cái gì đó). Điều quan trọng nhất trong số đó là - sự rời rạc(thông tin bao gồm các phần, dấu hiệu riêng biệt) và liên tục(khả năng tích lũy thông tin).

Mọi thông tin đều có yếu tố chủ quan. Liệu có thể đo lường một cách khách quan lượng thông tin được không? Kết quả quan trọng nhất của lý thuyết thông tin là kết luận rằng trong những điều kiện nhất định, có thể bỏ qua những đặc điểm định tính của thông tin để biểu thị số lượng của nó bằng con số và do đó so sánh lượng thông tin chứa trong các nhóm dữ liệu khác nhau.



Lượng thông tin là đặc tính số của thông tin phản ánh mức độ không chắc chắn sẽ biến mất sau khi nhận được thông tin.

Các khái niệm “thông tin”, “sự không chắc chắn”, “sự lựa chọn” có liên quan chặt chẽ với nhau. Thông tin nhận được làm giảm số lượng các lựa chọn có thể có (tức là sự không chắc chắn) và thông tin đầy đủ không để lại lựa chọn nào cả.

Chẳng hạn, có bao nhiêu thông tin được chứa đựng trong văn bản của cuốn tiểu thuyết “Chiến tranh và Hòa bình”, trong các bức bích họa của Raphael, hoặc trong mã di truyền của con người? Có thể đo lường một cách khách quan lượng thông tin được không?

Theo thuật ngữ khoa học, khái niệm “thông tin” gắn liền với khả năng xảy ra một sự kiện cụ thể.

Xác suất– một đặc tính số học về mức độ có thể xảy ra một sự kiện. Xác suất của một sự kiện đáng tin cậy (phải xảy ra) là 1, một sự kiện không thể xảy ra (sẽ không bao giờ xảy ra) là 0. Xác suất của một sự kiện ngẫu nhiên nằm trong khoảng (0, 1). Ví dụ: xác suất nhận được mặt ngửa khi tung đồng xu là 1/2 và xác suất nhận được mỗi mặt khi chơi xúc xắc là 1/6.

Ngẫu nhiên gọi điện sự kiệnđiều có thể xảy ra hoặc không. Ví dụ về các sự kiện ngẫu nhiên bao gồm việc nhận được mặt ngửa khi tung đồng xu hoặc số điểm (tức là hạ cánh ở một phía nhất định) khi chơi xúc xắc.

Kỹ sư người Mỹ R. Hartley (1928) coi quá trình thu thập thông tin là việc lựa chọn một thông điệp từ một tập hợp hữu hạn các thông tin được xác định trước. N các thông điệp có khả năng xảy ra như nhau và lượng thông tin TÔI, chứa trong tin nhắn đã chọn, được định nghĩa là logarit nhị phân N.

Giả sử bạn cần đoán một số từ một dãy số từ một đến một trăm. Theo công thức Hartley TÔI= nhật ký 2 N bạn có thể tính toán lượng thông tin cần thiết cho việc này: TÔI= Iog 2 l00 = 6,644 bit, tức là thông báo về một số được đoán đúng chứa một lượng thông tin xấp xỉ bằng 6.644 bit.

Nhà khoa học người Mỹ Claude Shannon đã đề xuất vào năm 1948 một công thức khác để xác định lượng thông tin, có tính đến xác suất có thể không bằng nhau của các thông điệp trong một tập hợp:

TÔI = - (P 1 nhật ký 2 P 1 + R 2 nhật ký 2 R 2 + . . . + P N nhật ký 2 P N),

Ở đâu Số Pi– xác suất chính xác Tôi-e tin nhắn được chọn trong bộ N tin nhắn.

Nếu xác suất P 1 , R 2 , …, P N bằng nhau thì mỗi số đó bằng 1/ N, và công thức Shannon trở thành công thức Hartley.

Phân tích công thức cho thấy xác suất xảy ra sự kiện càng cao thì thông tin xuất hiện sau khi nó xảy ra càng ít và ngược lại. Nếu xác suất là 1 (sự kiện chắc chắn) thì lượng thông tin là 0.

Nếu xác suất xảy ra hoặc thất bại của bất kỳ sự kiện nào là như nhau, tức là bằng 1/2 thì lượng thông tin mà sự kiện này mang theo bằng 1. Đây là đơn vị đo lường thông tin được gọi là chút.

Một bit cũng có thể được định nghĩa là lượng thông tin chứa một chữ số của số nhị phân (do đó có tên “bit”: chữ số nhị phân). Chút trong lý thuyết thông tin – lượng thông tin, cần thiết để phân biệt giữa hai thông điệp có khả năng xảy ra như nhau.

Lượng thông tin bằng 8 bit được gọi là byte. Tám bit có thể chứa 256 số nguyên nhị phân khác nhau từ 00000000 đến 11111111. Đơn vị thông tin dẫn xuất lớn hơn được sử dụng rộng rãi:

1 Kilobyte (KB) = 1024 byte;

1 Megabyte (MB) = 1024 KB;

1 Gigabyte (GB) = 1024 MB.

1 Terabyte (TB) = 1024 GB;

1 Petabyte (PB) = 1024 TB.

Lượng thông tin

Lượng thông tin như một thước đo để giảm bớt sự không chắc chắn về kiến ​​thức.
(Phương pháp tiếp cận cơ bản để xác định lượng thông tin)

Quá trình nhận thức thế giới xung quanh dẫn đến sự tích lũy thông tin dưới dạng kiến ​​thức (sự kiện, lý thuyết khoa học, v.v.). Việc tiếp nhận thông tin mới dẫn đến việc mở rộng kiến ​​thức hoặc, như đôi khi người ta nói, làm giảm đi sự không chắc chắn về kiến ​​thức. Nếu một thông điệp nào đó làm giảm đi tính không chắc chắn trong hiểu biết của chúng ta thì chúng ta có thể nói rằng thông điệp đó chứa đựng thông tin.

Ví dụ, sau khi làm bài kiểm tra hoặc hoàn thành một bài kiểm tra, bạn bị dày vò bởi sự không chắc chắn, bạn không biết mình đạt được điểm nào. Cuối cùng, giáo viên thông báo kết quả và bạn nhận được một trong hai thông báo thông tin: “đạt” hoặc “không đạt”, và sau khi làm bài thi, một trong bốn thông báo thông tin: “2”, “3”, “4” hoặc “5 ".

Một thông báo thông tin về điểm của một bài kiểm tra sẽ làm giảm một nửa mức độ không chắc chắn về kiến ​​​​thức của bạn vì một trong hai thông báo có thể được nhận. Một thông báo thông tin về điểm của một bài kiểm tra sẽ làm giảm đi bốn lần mức độ không chắc chắn về kiến ​​thức của bạn, vì một trong bốn thông báo thông tin có thể được nhận.

Rõ ràng là tình huống ban đầu càng không chắc chắn (càng có thể có nhiều thông tin) thì chúng ta sẽ càng nhận được nhiều thông tin mới khi nhận được thông báo thông tin (độ không chắc chắn về kiến ​​thức sẽ giảm đi nhiều lần).

Lượng thông tin có thể được coi là biện pháp làm giảm sự không chắc chắn về kiến ​​thức khi nhận được thông điệp thông tin.

Cách tiếp cận thông tin được thảo luận ở trên như một biện pháp làm giảm sự không chắc chắn của kiến ​​thức cho phép chúng ta đo lường thông tin một cách định lượng. Có một công thức liên quan đến số lượng tin nhắn thông tin có thể có N và lượng thông tin tôi mang theo trong tin nhắn nhận được:

N=2 tôi (1.1)

Chút. Để định lượng bất kỳ đại lượng nào, trước tiên bạn phải xác định đơn vị đo lường. Vì vậy, để đo chiều dài thì chọn mét làm đơn vị, để đo khối lượng - kilôgam, v.v. Tương tự, để xác định lượng thông tin, bạn phải nhập đơn vị đo.

Phía sau đơn vị lượng thông tin lượng thông tin chứa trong thông điệp thông tin được chấp nhận, giảm đi một nửa độ không chắc chắn của kiến ​​thức. Đơn vị này được gọi là chút.

Nếu chúng ta quay lại việc nhận một thông báo thông tin về kết quả kiểm tra đã thảo luận ở trên, thì ở đây độ không đảm bảo sẽ giảm đi một nửa và do đó, lượng thông tin mà thông báo mang theo bằng 1 bit.

Đơn vị dẫn xuất để đo lượng thông tin.Đơn vị đo lượng thông tin nhỏ nhất là bit và đơn vị lớn nhất tiếp theo là byte và:

1 byte = 8 bit = 2 3 bit.

Trong khoa học máy tính, hệ thống hình thành nhiều đơn vị đo lường hơi khác so với hệ thống được chấp nhận trong hầu hết các ngành khoa học. Các hệ thống đơn vị số liệu truyền thống, ví dụ như Hệ thống đơn vị quốc tế SI, sử dụng hệ số 10 n làm bội số của các đơn vị, trong đó n = 3, 6, 9, v.v., tương ứng với các tiền tố thập phân “Kilo” (10 3 ), “Mega” (10 6), "Giga" (10 9), v.v.

Trong máy tính, thông tin được mã hóa bằng hệ thống ký hiệu nhị phân và do đó, trong nhiều đơn vị đo lượng thông tin, hệ số 2 n được sử dụng

Do đó, đơn vị đo lượng thông tin là bội số của một byte được nhập như sau:

1 kilobyte (KB) = 2 10 byte = 1024 byte;

1 megabyte (MB) = 2 10 KB = 1024 KB;

1 gigabyte (GB) = 2 10 MB = 1024 MB.

Câu hỏi kiểm soát

    1. Cho ví dụ về các thông điệp thông tin dẫn đến giảm bớt sự không chắc chắn về kiến ​​thức.
    2. Cho ví dụ về các thông điệp thông tin mang 1 bit thông tin.

Xác định lượng thông tin

Xác định số lượng thông điệp thông tin. Sử dụng công thức (1.1), bạn có thể dễ dàng xác định số lượng thông tin có thể có nếu biết lượng thông tin đó. Ví dụ, trong một kỳ thi, bạn lấy một tấm thẻ thi và giáo viên cho bạn biết rằng thông tin trực quan về số của nó mang 5 bit thông tin. Nếu bạn muốn xác định số lượng vé thi thì chỉ cần xác định số lượng thông báo thông tin có thể có về số lượng của chúng bằng công thức (1.1):

Như vậy số phiếu dự thi là 32.

Xác định lượng thông tin. Ngược lại, nếu biết số lượng thông điệp N có thể có thì để xác định lượng thông tin mà thông điệp mang theo cần phải giải phương trình I.

Hãy tưởng tượng rằng bạn điều khiển chuyển động của robot và có thể đặt hướng chuyển động của nó bằng các thông báo thông tin: "bắc", "đông bắc", "đông", "đông nam", "nam", "tây nam", " tây" và " tây bắc" (Hình 1.11). Robot sẽ nhận được bao nhiêu thông tin sau mỗi tin nhắn?

Có 8 thông điệp thông tin có thể có, vì vậy công thức (1.1) có dạng phương trình cho I:

Hãy phân tích số 8 ở vế trái của phương trình và biểu diễn nó dưới dạng lũy ​​thừa:

8 = 2 × 2 × 2 = 2 3 .

phương trình của chúng tôi:

Sự bằng nhau của vế trái và vế phải của phương trình là đúng nếu số mũ của số 2 bằng nhau. Như vậy, I = 3 bit, tức là lượng thông tin mà mỗi thông báo thông tin mang đến robot bằng 3 bit.

Cách tiếp cận theo thứ tự bảng chữ cái để xác định lượng thông tin

Với cách tiếp cận theo bảng chữ cái để xác định lượng thông tin, người ta tóm tắt nội dung thông tin và coi thông điệp thông tin là một chuỗi ký hiệu của một hệ thống ký hiệu nhất định.

Năng lực thông tin của dấu hiệu. Hãy tưởng tượng rằng cần phải truyền một thông điệp thông tin qua kênh truyền thông tin từ người gửi đến người nhận. Giả sử thông điệp được mã hóa bằng hệ thống ký hiệu có bảng chữ cái gồm N ký tự (1, ..., N). Trong trường hợp đơn giản nhất, khi độ dài của mã tin nhắn là một ký tự, người gửi có thể gửi một trong N tin nhắn có thể “1”, “2”, ..., “N”, sẽ mang lượng thông tin I ( Hình 1.5).

Cơm. 1.5. Chuyển thông tin

Công thức (1.1) liên quan đến số lượng thông điệp thông tin có thể có N và lượng thông tin tôi mang theo trong thông báo nhận được. Khi đó, trong tình huống đang xét, N là số lượng ký hiệu trong bảng chữ cái của hệ thống ký hiệu và I là lượng thông tin mà mỗi ký hiệu mang theo:

Ví dụ: bằng cách sử dụng công thức này, bạn có thể xác định lượng thông tin mà một dấu hiệu mang trong hệ thống dấu hiệu nhị phân:

N = 2 => 2 = 2 I => 2 1 = 2 I => I=1 bit.

Vì vậy, trong hệ thống có chữ ký nhị phân, một dấu hiệu mang 1 bit thông tin. Điều thú vị là đơn vị đo lượng thông tin “bit” (bit) lại có tên TỪ cụm từ tiếng Anh “Binary digiT” - “binary signature”.

Năng lực thông tin của dấu hiệu của hệ thống dấu hiệu nhị phân là 1 chút.

Số lượng ký hiệu mà bảng chữ cái của hệ thống ký hiệu chứa càng nhiều thì lượng thông tin mà một ký hiệu mang theo càng lớn. Ví dụ: chúng tôi sẽ xác định lượng thông tin được chứa trong một chữ cái trong bảng chữ cái tiếng Nga. Bảng chữ cái tiếng Nga bao gồm 33 chữ cái, nhưng trên thực tế, chỉ có 32 chữ cái thường được sử dụng để truyền tải thông điệp (không bao gồm chữ cái “ё”).

Sử dụng công thức (1.1), chúng tôi xác định lượng thông tin chứa trong một chữ cái trong bảng chữ cái tiếng Nga:

N = 32 => 32 = 2 I => 2 5 = 2 I => I=5 bit.

Do đó, một chữ cái trong bảng chữ cái tiếng Nga mang 5 bit thông tin (với cách tiếp cận theo bảng chữ cái để đo lượng thông tin).

Lượng thông tin mà một dấu hiệu mang theo phụ thuộc vào khả năng tiếp nhận nó. Nếu người nhận biết trước chính xác dấu hiệu nào sẽ đến thì lượng thông tin nhận được sẽ bằng 0. Ngược lại, khả năng nhận được dấu hiệu càng ít thì khả năng thông tin của người đó càng lớn.

Trong lời nói viết bằng tiếng Nga, tần suất sử dụng các chữ cái trong văn bản là khác nhau, vì vậy trung bình cứ 1000 ký tự của một văn bản có ý nghĩa thì có 200 chữ cái “a” và số chữ cái “f” ít hơn một trăm lần (chỉ 2) . Như vậy, theo quan điểm của lý thuyết thông tin, dung lượng thông tin của các ký tự trong bảng chữ cái tiếng Nga là khác nhau (chữ “a” có giá trị nhỏ nhất và chữ “f” có giá trị lớn nhất).

Lượng thông tin trong tin nhắn. Một tin nhắn bao gồm một chuỗi các ký tự, mỗi ký tự mang một lượng thông tin nhất định.

Nếu các dấu hiệu mang cùng một lượng thông tin thì lượng thông tin Ic trong tin nhắn có thể được tính bằng cách nhân lượng thông tin Iz mang theo một dấu hiệu với độ dài mã (số ký tự trong tin nhắn) K:

Tôi c = tôi × K

Vì vậy, mỗi chữ số của mã máy tính nhị phân mang thông tin 1 bit. Do đó, hai chữ số mang thông tin ở dạng 2 bit, ba chữ số - ở dạng 3 bit, v.v. Lượng thông tin tính bằng bit bằng số chữ số của mã máy tính nhị phân (Bảng 1.1).

Bảng 1.1. Lượng thông tin được mang theo bởi một mã máy tính nhị phân

Chi tiết tác giả

Chetvergova Yu.N.

Nơi làm việc, chức vụ:

Cơ sở giáo dục thành phố "Trường trung học số 1 Porkhov", giáo viên

vùng Pskov

Đặc điểm của bài học (bài học)

Trình độ học vấn:

Giáo dục phổ thông trung học (đầy đủ)

Các đối tượng mục tiêu:

Giáo viên (giáo viên)

Các lớp học):

Mặt hàng):

Khoa học máy tính và CNTT

Mục đích của bài học:

Lặp lại, củng cố, kiểm soát kiến ​​thức và kỹ năng

Loại bài học:

Bài học về vận dụng toàn diện kiến ​​thức học tập của học sinh

Học sinh trong lớp (khán phòng):

Tài liệu phương pháp được sử dụng:

Sự phát triển của bài học trong khoa học máy tính. Lớp 10. O. L. Sokolova;

Thiết bị sử dụng:

Chương trình máy tính

Máy tính

Chủ thể. Lượng thông tin. Công thức Hartley và Shannon

Tiến trình của bài học

Sự lặp lại của tài liệu được đề cập trong lớp. Bổ sung.(10 phút)

Thẻ đào tạo. Làm việc nhóm (20 phút)

Giải quyết vấn đề. Làm việc theo cặp (10 phút)

Bài kiểm tra. (40 phút)

Đánh giá ngang hàng. Làm việc trên những sai lầm.

Kiến thức, kỹ năng và năng lực cơ bản

Kiến thức:

Những sự kiện nào có khả năng xảy ra như nhau và sự kiện nào không có khả năng xảy ra như nhau;

Cách tìm xác suất của một sự kiện;

Cách tìm lượng thông tin trong tin nhắn cho các sự kiện khác nhau.

Kỹ năng:

Phân biệt giữa các sự kiện có khả năng xảy ra như nhau và không thể xảy ra như nhau;

Tìm lượng thông tin cho các sự kiện khác nhau.

Năng lực:

Sự hợp tác

Kĩ năng giao tiếp

Sự sáng tạo và sự tò mò

Tư duy phản biện (đánh giá giá trị)

Lặp lại nội dung được học trong lớp

Những sự kiện nào có khả năng xảy ra như nhau và sự kiện nào không có khả năng xảy ra như nhau?

Năm 1928, kỹ sư người Mỹ R. Hartley đề xuất một phương pháp khoa học để đánh giá thông điệp. Công thức ông đề xuất như sau:

Tôi = log 2 K,
Trong đó K là số sự kiện có thể xảy ra như nhau; I là số bit trong thông báo sao cho bất kỳ sự kiện K nào xảy ra. Khi đó K=2 I .
Đôi khi công thức Hartley được viết như thế này:

I = log 2 K = log 2 (1 / r) = - log 2 r,
vì mỗi sự kiện K có kết quả có thể xảy ra như nhau p = 1 / K, nên K = 1 / p.

Quả bóng nằm ở một trong ba chiếc bình: A, B hoặc C. Xác định xem thông điệp trong chiếc bình B chứa bao nhiêu bit thông tin.

Giải pháp.

Một tin nhắn như vậy chứa I = log 2 3 = 1,585 bit thông tin.

Nhưng không phải tất cả các tình huống đều có khả năng thực hiện như nhau. Có nhiều tình huống như vậy trong đó xác suất thực hiện được khác nhau. Ví dụ: nếu họ ném một đồng xu không đối xứng hoặc “quy tắc bánh sandwich”.

“Có lần khi còn nhỏ, tôi làm rơi một chiếc bánh sandwich, nhìn tôi tội lỗi lau vết dầu trên sàn, anh trai tôi trấn an:

Đừng lo lắng, luật bánh sandwich đã có tác dụng.

Đây là loại luật gì vậy? - tôi hỏi.

Định luật nói rằng: “Một chiếc bánh sandwich luôn có mặt bơ hướng xuống dưới”. Tuy nhiên, đây chỉ là một trò đùa”, người anh tiếp tục, “Không có luật nào cả”. Chỉ là chiếc bánh sandwich thực sự hoạt động khá kỳ lạ: hầu hết bơ đều ở dưới đáy.

Hãy thả chiếc bánh sandwich thêm vài lần nữa và kiểm tra xem,” tôi gợi ý. - Dù sao thì cậu cũng phải vứt nó đi.

Chúng tôi đã kiểm tra. Trong số mười lần thì có tám lần chiếc bánh sandwich rơi xuống mặt bơ.

Và rồi tôi nghĩ: liệu có thể biết trước liệu chiếc bánh sandwich sẽ rơi bơ xuống hay hướng lên?

Thí nghiệm của chúng tôi đã bị gián đoạn bởi mẹ của chúng tôi..."
(Trích sách “Bí mật của những vị chỉ huy vĩ đại”, V. Abchuk).

Năm 1948, kỹ sư và nhà toán học người Mỹ K. Shannon đã đề xuất một công thức tính lượng thông tin cho các sự kiện có xác suất khác nhau.
Nếu tôi là lượng thông tin,
K - số sự kiện có thể xảy ra, p i - xác suất của từng sự kiện,
thì lượng thông tin về các sự kiện có xác suất khác nhau có thể được xác định theo công thức:

I = - Tổng р i log 2 р i, trong đó i lấy các giá trị từ 1 đến K.

Công thức Hartley bây giờ có thể được coi là trường hợp đặc biệt của công thức Shannon:

I = - Tổng 1 / K log 2 (1 / K) = I = log 2 K.

Trong trường hợp các sự kiện có khả năng xảy ra như nhau, lượng thông tin thu được là tối đa.

Làm thế nào để tìm xác suất của một sự kiện?

Nếu thông tin trong tin nhắn là mới, dễ hiểu đối với một người và bổ sung thêm kiến ​​​​thức cho người đó, tức là. dẫn đến giảm độ không chắc chắn về kiến ​​thức thì thông điệp chứa đựng thông tin.

1 bit - lượng thông tin chứa trong tin nhắn, giúp giảm độ không chắc chắn của kiến ​​​​thức xuống 2 lần.

Ví dụ

Khi ném một đồng xu, có thể xảy ra 2 sự kiện (trường hợp) - đồng xu sẽ rơi vào mặt ngửa hoặc mặt sấp, và cả hai sự kiện đều có khả năng xảy ra như nhau (với số lần tung lớn, số trường hợp đồng xu rơi vào mặt ngửa và mặt sấp là như nhau). Sau khi nhận được thông báo về kết quả của việc rơi đồng xu, độ không chắc chắn của kiến ​​thức giảm đi 2 lần và do đó lượng thông tin nhận được trong trường hợp này bằng 1 bit.

Làm cách nào để tìm lượng thông tin trong tin nhắn cho các sự kiện khác nhau?

Tính toán lượng thông tin cho các sự kiện có khả năng xảy ra như nhau.

Nếu các sự kiện có khả năng xảy ra như nhau thì lượng thông tin có thể được tính bằng công thức:

N=2I

ở đâu N - số sự kiện có thể xảy ra,

TÔI - lượng thông tin tính bằng bit.

Công thức này được kỹ sư người Mỹ R. Hartley đề xuất vào năm 1928.

Nhiệm vụ 1.Có 32 cây bút chì trong hộp, tất cả các cây bút chì đều có màu sắc khác nhau. Họ ngẫu nhiên rút ra một cái màu đỏ. Đã thu được bao nhiêu thông tin?

Giải pháp.

Vì việc rút một cây bút chì màu bất kỳ từ 32 cây bút chì trong hộp đều có xác suất như nhau nên số các sự kiện có thể xảy ra là:

bằng 32.

N = 32, tôi = ?

N = 2 I, 32 = 2 5, I = 5 bit.

Trả lời: 5 bit

Tính toán lượng thông tin cho các sự kiện có xác suất khác nhau.

Có nhiều tình huống trong đó các sự kiện có thể xảy ra có xác suất xảy ra khác nhau. Hãy xem xét các ví dụ về các sự kiện như vậy.

1. Hộp có 20 cây bút chì, trong đó có 15 cây màu đỏ và 5 cây màu đen. Bạn có nhiều khả năng lấy ngẫu nhiên một cây bút chì màu đỏ hơn là một cây bút chì màu đen.

2. Nếu một chiếc bánh sandwich vô tình rơi, nó có nhiều khả năng rơi với mặt bơ hướng xuống (mặt nặng hơn) so với mặt bơ hướng lên trên.

3. Ao là nơi sinh sống của 8.000 cá chép, 2.000 cá pike và 40.000 cá tuế. Cơ hội lớn nhất của ngư dân là bắt được cá mú ở ao này, tiếp theo là cá diếc ở vị trí thứ hai và cá pike ở vị trí thứ ba.

Lượng thông tin trong một thông báo về một sự kiện phụ thuộc vào xác suất của nó. Một sự kiện càng ít có khả năng xảy ra thì càng mang nhiều thông tin.
P=K/N , trong đó K là số trường hợp thực hiện được một trong các kết quả của sự kiện, N - tổng số kết quả có thể xảy ra của một trong các sự kiện
2 I = log 2 (1/ p ), trong đó tôi - lượng thông tin, P - xác suất của sự kiện

Vấn đề 1 . Có 50 quả bóng trong một hộp, trong đó có 40 quả trắng và 10 quả đen. Xác định lượng thông tin trong tin nhắn về việc vẽ ngẫu nhiên một quả bóng trắng và một quả bóng đen.

Giải pháp.
Xác suất để lấy được quả bóng trắng

P 1 = 40/50 = 0,8
Xác suất để lấy được bi đen P 2 = 10/50 = 0,2
Lượng thông tin về việc vẽ một quả bóng trắng I 1 = log 2 (1/0,8) = log 2 1,25 = log 1,25/ log 2 " 0,32bit
Lượng thông tin về cách vẽ một quả bóng màu đen

I 2 = log 2 (1/0,2) = log 2 5 = log5/log2»2,32bit

Trả lời: 0,32bit, 2,32bit

Logarit là gì?

Logarit của số a cơ số b là số mũ mà một số phải được nâng lên Một để có được số b.

a logab = b, a > 0, b > 0, a ≠ 1

Phân tích các vấn đề
Xác định lượng thông tin thu được trong quá trình thực hiện một trong các sự kiện nếu bị ném
a) hình chóp tứ diện không đối xứng;
b) một hình chóp tứ diện đối xứng và đồng đều.

Giải pháp.

A) Chúng ta sẽ ném một kim tự tháp tứ diện không đối xứng.
Xác suất của các sự kiện riêng lẻ sẽ như sau:
p1 = 1/2,
p2 = 1/4,
p3 = 1/8,
p4 = 1/8,
thì lượng thông tin nhận được sau khi thực hiện một trong những sự kiện này được tính theo công thức:
I = -(1/2 log 2 1/2 + 1/4 log 2 1/4 + 1/8 log 2 1/8 + 1/8 log 2 1/8) = 1/2 + 2/4 + 3 / 8 + 3 / 8 = 14/8 = 1,75 (bit).
b) Bây giờ hãy tính lượng thông tin thu được khi ném một hình chóp tứ diện đối xứng và đồng nhất:
I = log 2 4 = 2 (bit).
2. Xác suất của sự kiện đầu tiên là 0,5, còn sự kiện thứ hai và thứ ba là 0,25. Chúng ta sẽ nhận được bao nhiêu thông tin sau khi thực hiện một trong số chúng?
3. Sẽ thu được bao nhiêu thông tin khi chơi roulette với 32 ô?
4. Có thể mã hóa bao nhiêu số khác nhau bằng 8 bit?
Giải: I=8 bit, K=2 I =2 8 =256 số khác nhau.

Nhiệm vụ 2.Hồ là nơi sinh sống của cá diếc và cá rô. Người ta ước tính có 1500 con cá diếc và 500 con cá rô, trong báo cáo có bao nhiêu thông tin về việc một ngư dân bắt được một con cá diếc, một con cá rô hay bắt được một con cá?

Giải pháp.
Các trường hợp bắt được cá diếc hoặc cá rô không có khả năng xảy ra như nhau, vì trong hồ có ít cá rô hơn cá diếc.

Tổng số cá diếc và cá rô trong ao là 1500 + 500 = 2000.
Xác suất bắt được một con cá diếc

trang 1 = 1500/2000 = 0,75, cá rô p2 = 500/2000 = 0,25.

I 1 = log 2 (1/ p I), I 1 = log 2 (1/ p 2), trong đó P 1 và P 2 - xác suất bắt được cá diếc và cá rô tương ứng.

I 1 = log 2 (1 / 0,75) » 0,43 bit, I 2 = log 2 (1 / 0,25) = 2 bit - lượng thông tin trong tin nhắn lần lượt để bắt cá diếc và cá rô.

Lượng thông tin trong tin nhắn để bắt cá (cá diếc hoặc cá rô) được tính theo công thức Shannon

Tôi = - p 1 log 2 p 1 - p 2 log 2 p 2

I = - 0,75*log 2 0,75 - 0,25*log 2 0,25 = - 0,75*(log0,75/log2)-0,25*(log0,25/log2) =

0,311 + 0,5 = 0,811

Trả lời:tin nhắn chứa 0,811 bit thông tin

Thẻ đào tạo (20 phút)

№1

1. Hộp chứa 32 cây bút chì nhiều màu. Bao nhiêu thông tin được truyền tải qua thông điệp rằng một cây bút chì màu đỏ đã được lấy ra khỏi hộp?

2. Tin nhắn bạn của bạn sống ở tầng 9 mang theo 4 thông tin. Có bao nhiêu tầng trong ngôi nhà?

3. Một tin nhắn gồm 384 ký tự trong bảng chữ cái 16 ký tự sẽ có bao nhiêu kilobyte?

4. Sách được đánh máy bằng máy tính, có 250 trang; mỗi trang có 40 dòng, mỗi dòng có 60 ký tự. Có bao nhiêu thông tin trong cuốn sách?

5. Viết các số sau dưới hệ nhị phân: 37 và 52.

№2

2. Thư viện trường có 8 kệ sách. Mỗi giá có 4 kệ. Người thủ thư nói với Vasya rằng cuốn sách anh cần nằm ở giá thứ năm trên kệ thứ hai từ trên xuống. Người thủ thư đã truyền đạt bao nhiêu thông tin cho Vasya?

4. Một thông điệp chứa bao nhiêu thông tin có thể làm giảm độ không chắc chắn về kiến ​​thức xuống 2 lần?

5. Viết các số sau dưới hệ nhị phân: 12 và 49.

1. Khi đoán một số nguyên trong một phạm vi nhất định, sẽ nhận được 8 bit thông tin. Dãy này chứa bao nhiêu số?

2. Bạn đến gần đèn giao thông khi đèn đỏ. Sau đó đèn vàng bật sáng. Bạn đã nhận được bao nhiêu thông tin?

3. Bộ tộc Pulti có bảng chữ cái gồm 16 ký tự. Bộ tộc Đa sử dụng bảng chữ cái gồm 32 ký tự. Các thủ lĩnh bộ lạc đã trao đổi thư từ. Bức thư của bộ tộc Pulti có 90 ký tự và bức thư của bộ tộc Multi có 70 ký tự. So sánh lượng thông tin chứa trong các bức thư.

4. Một tin nhắn gồm 384 ký tự trong bảng chữ cái 8 ký tự sẽ có bao nhiêu kilobyte?

5. Viết các số sau vào hệ nhị phân: 33 và 15.

2. Tin nhắn có 2 trang và chứa 1/16 KB thông tin. Mỗi trang chứa 256 ký tự. Một chữ cái trong bảng chữ cái được sử dụng truyền tải bao nhiêu thông tin?

3. Tin nhắn được viết bằng các chữ cái trong bảng chữ cái 128 ký tự, gồm 11 ký tự. Nó mang theo bao nhiêu thông tin?

4. Hộp chứa 64 cây bút chì nhiều màu. Thông điệp về chiếc bút chì xanh được lấy ra khỏi hộp chứa bao nhiêu thông tin?

5. Viết các số sau dưới hệ nhị phân: 17 và 42.

1. Người chơi thứ hai sẽ nhận được bao nhiêu thông tin sau nước đi đầu tiên của người chơi thứ nhất trong trò chơi tic-tac-toe trên bàn cờ 4x4?

2. Có 8 quả bóng trong trống xổ số. Thông báo về số đầu tiên được rút ra có bao nhiêu thông tin, ví dụ như số 2?

3. Số lượng thông tin trong tin nhắn “Misha đã đạt 1 trong 16 vị trí tại Olympic Tin học”?

4. Tệp đồ họa raster chứa hình ảnh đen trắng với 16 sắc thái xám, kích thước 10x10 pixel. Khối lượng thông tin của tập tin này là gì?

5. Viết các số sau dưới hệ nhị phân: 28 và 51.

1. Bảng chữ cái Đa tộc gồm 8 chữ cái. Một tin nhắn 13 ký tự chứa bao nhiêu thông tin?

2. Tệp đồ họa raster chứa hình ảnh đen trắng (không có thang độ xám) với kích thước 100x100 pixel. Khối lượng thông tin của tập tin này là gì?

3. Khi đoán một số nguyên trong một phạm vi nhất định, sẽ nhận được 5 bit thông tin. Dãy này chứa bao nhiêu số?

4. Nhận được điện tín: “Gặp xe 6.” Được biết đoàn tàu có 16 toa. Đã nhận được bao nhiêu thông tin?

5. Viết các số sau dưới hệ nhị phân: 23 và 38.

1. Một hình chóp tứ diện đối xứng được ném ra. Chúng ta nhận được bao nhiêu thông tin trong thông điệp trực quan về việc nó rơi xuống một trong các khuôn mặt?

2. Khối lượng thông tin của văn bản chứa từ CODING trong bảng mã 8 bit là bao nhiêu?

3. Màu sắc (với bảng màu gồm 256 màu) ảnh đồ họa raster có kích thước 10x10 pixel. Hình ảnh này sẽ chiếm bao nhiêu bộ nhớ?

4. Tin nhắn bạn của bạn sống ở tầng 8 mang theo 4 thông tin. Có bao nhiêu tầng trong ngôi nhà?

5. Viết các số sau dưới hệ nhị phân: 19 và 46.

1. Một lá bài được chọn từ bộ bài 32 lá. Chúng ta nhận được bao nhiêu thông tin trong thông điệp trực quan về việc chọn một lá bài cụ thể?

2. Cần bao nhiêu thông tin để mã hóa nhị phân mỗi ký tự trong một bộ 256 ký tự?

3. Văn bản chiếm 0,5 KB bộ nhớ máy tính. Văn bản này chứa bao nhiêu ký tự?

4. Bảng chữ cái của bộ tộc Pulti gồm 128 chữ cái. Một chữ cái trong bảng chữ cái này chứa bao nhiêu thông tin?

5. Viết các số sau vào hệ nhị phân: 11 và 35.

1. “Bạn của bạn có ở nhà không?” họ hỏi một học sinh ở trường. “Không,” anh trả lời. Câu trả lời chứa bao nhiêu thông tin?

2. Tin nhắn chiếm 3 trang, 25 dòng. Mỗi dòng có 60 ký tự. Có bao nhiêu ký tự trong bảng chữ cái được sử dụng nếu toàn bộ tin nhắn chứa 1125 byte?

3. Hộp chứa 16 quả bóng nhiều màu. Thông điệp về quả bóng vàng được lấy ra khỏi hộp chứa bao nhiêu thông tin?

4. Khi đoán một số nguyên trong một phạm vi nhất định, sẽ nhận được 5 bit thông tin. Dãy này chứa bao nhiêu số?

5. Viết các số sau dưới hệ nhị phân: 13 và 41.

1. Số bit thông tin trong tin nhắn “Vanya đã giành một trong 8 vị trí tại Olympic Tin học” là bao nhiêu?

2. Sách được đánh máy bằng máy tính, có 150 trang; mỗi trang có 40 dòng, mỗi dòng có 60 ký tự. Có bao nhiêu thông tin trong cuốn sách? Xác định bằng KB.

3. Khi đoán một số nguyên trong khoảng từ 1 đến N, nhận được 8 bit thông tin. N bằng bao nhiêu?

4. Một tin nhắn viết bằng chữ cái trong bảng chữ cái 32 ký tự có 30 ký tự. Nó mang theo bao nhiêu thông tin?

5. Viết các số sau dưới hệ nhị phân: 16 và 39.

1. Bảng chữ cái Đa tộc gồm 16 chữ cái. Một chữ cái trong bảng chữ cái này chứa bao nhiêu thông tin?

2. Tin nhắn bạn của bạn sống ở tầng 8 mang theo 5 thông tin. Có bao nhiêu tầng trong ngôi nhà?

3. Tìm số lượng sách tối đa (mỗi cuốn dày 200 trang, mỗi trang 60 dòng, 80 ký tự mỗi dòng), được đặt hoàn toàn trên đĩa laser có dung lượng 600 MB.

4. Cần bao nhiêu thông tin để đoán được một trong 64 số?

5. Viết các số sau dưới hệ nhị phân: 14 và 53.

1. Nhận được điện tín: “Gặp xe 4.” Được biết đoàn tàu có 8 toa. Đã nhận được bao nhiêu thông tin?

2. Kích thước của tin nhắn, chứa 2048 ký tự, là 1/512 MB. Kích thước của bảng chữ cái (có bao nhiêu ký tự trong bảng chữ cái?) trong đó thông điệp được viết là bao nhiêu?

3. “Bạn có xuống xe ở điểm dừng tiếp theo không?” - họ hỏi người đàn ông trên xe buýt. “Ừ,” anh trả lời. Câu trả lời chứa bao nhiêu thông tin?

4. Tin nhắn được viết bằng các chữ cái trong bảng chữ cái 16 ký tự, gồm 25 ký tự. Câu trả lời chứa bao nhiêu thông tin?

5. Viết các số sau dưới hệ nhị phân: 26 và 47.

1. Một tin nhắn chứa 12288 bit có bao nhiêu kilobyte?

2. Một tin nhắn chứa bao nhiêu thông tin có thể làm giảm độ không chắc chắn về kiến ​​thức xuống 4 lần?

3. Một tin nhắn được viết bằng bảng chữ cái 16 ký tự chứa bao nhiêu ký tự nếu dung lượng của nó là 1/16 MB?

4. Một nhóm học sinh đến bể bơi có 8 làn bơi. Huấn luyện viên thông báo nhóm sẽ bơi ở làn số 4. Học sinh nhận được bao nhiêu thông tin từ tin nhắn này?

5. Viết các số sau vào hệ nhị phân: 18 và 25.

1. Bạn đến gần đèn giao thông khi đèn vàng. Sau đó đèn chuyển sang màu xanh. Bạn đã nhận được bao nhiêu thông tin?

2. Bảng chữ cái gồm 256 ký tự được sử dụng để viết văn bản. Mỗi trang có 30 dòng, mỗi dòng 60 ký tự. 6 trang văn bản chứa bao nhiêu thông tin?

3. Có 64 quả bóng trong trống xổ số. Thông báo về con số đầu tiên được rút ra chứa bao nhiêu thông tin (ví dụ: số 32 được rút ra)?

4. Khi đoán một số nguyên trong một phạm vi nhất định, sẽ nhận được 7 bit thông tin. Dãy này chứa bao nhiêu số?

5. Viết các số sau dưới hệ nhị phân: 27 và 56.

1. Thông điệp Petya sống ở lối vào đầu tiên mang 2 thông tin. Có bao nhiêu lối vào trong nhà?

2. Một tin nhắn viết bằng chữ cái trong bảng chữ cái 128 ký tự có 40 ký tự. Nó mang theo bao nhiêu thông tin?

3. Một tin nhắn thông tin có dung lượng 1,5 KB chứa 3072 ký tự. Bảng chữ cái viết tin nhắn này có bao nhiêu ký tự?

4. Một tin nhắn gồm 284 ký tự trong bảng chữ cái 16 ký tự sẽ có bao nhiêu kilobyte?

5. Viết các số sau vào hệ nhị phân: 10 và 29.

1. Người chơi thứ hai sẽ nhận được bao nhiêu thông tin sau nước đi đầu tiên của người chơi thứ nhất trong trò chơi tic-tac-toe trên bàn cờ 4x4?

2. 1MB chứa bao nhiêu byte thông tin?

3. Số sự kiện có thể xảy ra là bao nhiêu nếu sau khi thực hiện một trong số chúng, chúng ta nhận được một lượng thông tin bằng 7 bit?

4. Bảng chữ cái 64 ký tự được sử dụng để ghi lại tin nhắn. Mỗi trang có 30 dòng. Toàn bộ tin nhắn chứa 8775 byte thông tin và chiếm 6 trang. Có bao nhiêu ký tự trong một dòng?

5. Viết các số sau dưới hệ nhị phân: 22 và 59.

1. Một tin nhắn viết bằng chữ cái trong bảng chữ cái 128 ký tự có 40 ký tự. Nó mang theo bao nhiêu thông tin?

2. Người chơi thứ hai sẽ nhận được bao nhiêu thông tin trong trò chơi “Đoán Số” với chiến thuật đúng nếu người chơi thứ nhất đoán được một số trong khoảng từ 1 đến 64?

3. Bảng chữ cái gồm 256 ký tự được sử dụng để viết văn bản. Mỗi trang có 30 dòng, mỗi dòng 70 ký tự. 3 trang văn bản chứa bao nhiêu thông tin?

4. Văn bản chiếm 0,25 KB bộ nhớ máy tính. Văn bản này chứa bao nhiêu ký tự?

5. Viết các số sau dưới hệ nhị phân: 32 và 51.

1. 1 KB chứa bao nhiêu bit thông tin?

2. Bộ tộc đầu tiên có bảng chữ cái gồm 16 ký tự. Bộ tộc thứ hai sử dụng bảng chữ cái gồm 32 ký tự. Các thủ lĩnh bộ lạc đã trao đổi thư từ. Bức thư của bộ tộc đầu tiên có 90 ký tự và bức thư của bộ tộc thứ hai có 80 ký tự. So sánh lượng thông tin chứa trong các bức thư.

3. Sẽ thu được bao nhiêu thông tin khi chơi roulette với 32 ô?

4. Thông tin được truyền với tốc độ 2,5 KB/s. Bao nhiêu thông tin sẽ được truyền đi trong 20 phút?

5. Viết các số sau dưới hệ nhị phân: 21 và 48.

Giải các bài toán tùy chọn (20 phút)

№1

Tin nhắn được viết bằng bảng chữ cái có 8 ký tự. Một chữ cái trong bảng chữ cái này chứa bao nhiêu thông tin? Giải pháp: I = log 2 8 = 3 bit.

Trả lời: 3 bit.

№2

Khối lượng thông tin của một ký tự của một tin nhắn nhất định là 6 bit. Có bao nhiêu ký tự trong bảng chữ cái chứa thông điệp này? Giải pháp: N=2 Tôi = 2 6 = 64 ký tự.

Trả lời: 64 ký tự.

№3

Khối lượng thông tin của một ký tự của một số tin nhắn bằng 5 chút ít. Các giới hạn (giá trị tối đa và tối thiểu) về sức mạnh của bảng chữ cái dùng để tạo ra thông báo này là gì?

Giải pháp: N=2I = 2 5 = 32 — giá trị tối đa của lũy thừa bảng chữ cái. Nếu có thêm ít nhất một ký tự thì cần 6 bit để mã hóa.

Giá trị tối thiểu là 17 ký tự, bởi vì đối với ít ký tự hơn, 4 bit sẽ là đủ. Trả lời: 4 bit.

№4

Một tin nhắn được viết bằng các chữ cái trong bảng chữ cái 128 ký tự, chứa 30 ký tự. Nó mang theo bao nhiêu thông tin?

Được cho: N = 128, K = 30.

Tìm thấy: 1 phút - ?

Giải pháp:

1) I t = KI, chưa biết I;

2) I = log 2 N = log 2 l 28 = 7 bit - âm lượng của một ký tự;

3) tôi t = 30*7 = 210 bit - âm lượng của toàn bộ tin nhắn.

Trả lời:Âm lượng của toàn bộ tin nhắn là 210 bit.

№5

Một tin nhắn được soạn bằng bảng chữ cái 32 ký tự chứa 80 ký tự. Một tin nhắn khác được viết bằng bảng chữ cái 64 ký tự và chứa 70 ký tự. So sánh lượng thông tin chứa trong tin nhắn.

Được cho: N 1 = 32, K 1 = 80, N 2 = 64, K 2 = 70.

Tìm thấy: Tôi t1 tôi t2

Giải pháp:

I ) I 1 = log 2 Nl = log 2 32 = 5 bit - âm lượng của một ký tự của tin nhắn đầu tiên;

Tất cả chúng ta đều quen với việc mọi thứ xung quanh đều có thể đo lường được. Chúng ta có thể xác định được khối lượng của kiện hàng, chiều dài của bàn và vận tốc của ô tô. Nhưng làm thế nào để xác định lượng thông tin chứa trong một tin nhắn? Câu trả lời cho câu hỏi có trong bài viết.

Vì vậy, trước tiên chúng ta hãy chọn một tin nhắn. Để cho nó được " Máy in là thiết bị xuất thông tin.". Nhiệm vụ của chúng ta là xác định lượng thông tin chứa trong một tin nhắn nhất định. Nói cách khác, cần bao nhiêu bộ nhớ để lưu trữ nó.

Xác định lượng thông tin trong tin nhắn

Để giải quyết vấn đề, chúng ta cần xác định lượng thông tin mà một ký tự tin nhắn mang theo, sau đó nhân giá trị này với số ký tự. Và nếu đếm được số ký tự thì cần tính trọng số của ký tự đó. Để làm điều này, hãy tính số nhiều các ký tự trong tin nhắn. Hãy để tôi nhắc bạn rằng dấu chấm câu và dấu cách cũng là ký hiệu. Ngoài ra, nếu một tin nhắn chứa cùng chữ thường và chữ in hoa, chúng tôi sẽ tính chúng là hai ký tự khác nhau. Bắt đầu nào.

Trong một từ Máy in 6 biểu tượng khác nhau ( R xảy ra hai lần và được tính một lần), sau đó là ký tự thứ 7 không gian và thứ chín - dấu gạch ngang. Vì đã có khoảng trống nên chúng tôi không tính nó sau dấu gạch ngang. Trong một từ thiết bị 10 ký tự nhưng có 7 ký tự khác nhau vì các chữ cái Với, T Và ồđược lặp đi lặp lại. Ngoài ra, chữ T Và Rđã có trong từ Máy in. Vì vậy hóa ra trong từ thiết bị 5 nhiều biểu tượng khác nhau. Đếm tiếp theo cách này, chúng ta nhận được rằng có 20 ký tự khác nhau trong tin nhắn.

2 tôi =N

Thay thế vào đó N số lượng các ký hiệu khác nhau, chúng ta tìm ra lượng thông tin mà một ký hiệu mang theo dưới dạng bit. Trong trường hợp của chúng tôi, công thức sẽ như thế này:

2 tôi = 20

Hãy nhớ và hiểu rằng i nằm trong khoảng từ 4 đến 5 (vì 2 4 =16 và 2 5 =32). Và vì bit này là tối thiểu và không thể phân số nên chúng tôi làm tròn i lên 5. Ngược lại, nếu giả sử i = 4, chúng tôi chỉ có thể mã hóa 2 4 = 16 ký tự và chúng tôi có 20 ký tự trong số đó. =5, nghĩa là mỗi ký tự trong tin nhắn của chúng ta mang 5 bit thông tin.

Tất cả những gì còn lại là đếm xem có bao nhiêu ký tự trong tin nhắn của chúng ta. Nhưng bây giờ chúng ta sẽ tính tất cả nhân vật, việc chúng có được lặp lại hay không không quan trọng. Chúng tôi nhận được rằng tin nhắn bao gồm 39 ký tự. Và vì mỗi ký tự là 5 bit thông tin, nhân 5 với 39 chúng ta có:

5 bit x 39 ký tự = 195 bit

Đây là câu trả lời cho câu hỏi của vấn đề - tin nhắn chứa 195 bit thông tin. Và, để tóm tắt, chúng ta có thể viết thuật toán tìm kiếm lượng thông tin trong tin nhắn:

  • đếm số lượng các ký hiệu khác nhau.
  • Thay giá trị này vào công thức 2i=N, tìm trọng lượng của một ký hiệu (làm tròn)
  • đếm tổng số ký tự và nhân số này với trọng số của một ký tự.

Phòng thí nghiệm số 1

XÁC ĐỊNH SỐ LƯỢNG THÔNG TIN TRONG TIN NHẮN

1 Mục đích và nội dung

Giới thiệu khái niệm “lượng thông tin”; hình thành cho học sinh sự hiểu biết về xác suất, các sự kiện có khả năng xảy ra như nhau và không xảy ra như nhau; dạy học sinh xác định lượng thông tin.

Bài học thực tế này chứa thông tin về các phương pháp xác định lượng thông tin trong một tin nhắn.

2 Cơ sở lý thuyết

2.1 Giới thiệu khái niệm “lượng thông tin”

Thế giới của chúng ta dựa trên ba thành phần: vật chất, năng lượng và thông tin. Trên thế giới có bao nhiêu vật chất, năng lượng và thông tin? Bạn có thể đo lượng của một chất, ví dụ bằng cách cân nó. Bạn có thể xác định lượng năng lượng nhiệt tính bằng Joules, điện tính bằng kilowatt/giờ, v.v.

Có thể đo lường được lượng thông tin và cách thực hiện? Hóa ra thông tin cũng có thể được đo lường và tìm thấy số lượng của nó. Lượng thông tin trong một tin nhắn phụ thuộc vào tính thông tin của nó. Nếu tin nhắn chứa mới và thông tin rõ ràng, thì một tin nhắn như vậy được gọi nhiều thông tin.

Ví dụ, sách giáo khoa khoa học máy tính dành cho sinh viên đại học có chứa thông tin không? (Trả lời có). Nó sẽ cung cấp thông tin cho sinh viên đang theo học tại trường đại học hoặc học sinh lớp 1? (Câu trả lời đối với học sinh đang học tại trường đại học là nó sẽ mang tính thông tin vì nó chứa thông tin mới và dễ hiểu, nhưng đối với học sinh lớp 1 thì nó sẽ không mang tính thông tin vì thông tin đó các em không thể hiểu được).

Lượng thông tin trong một tin nhắn sẽ bằng 0 nếu nó không mang tính thông tin theo quan điểm của một người cụ thể. Lượng thông tin trong một tin nhắn mang tính thông tin lớn hơn 0.

Nhưng bản thân nội dung thông tin của tin nhắn không xác định chính xác lượng thông tin. Dựa vào nội dung thông tin người ta chỉ có thể đánh giá thông tin nhiều hay ít.

2.2 Phương pháp xác suất để xác định lượng thông tin

Nếu một thông điệp mang tính thông tin thì nó sẽ bổ sung thêm kiến ​​thức của chúng ta hoặc làm giảm sự không chắc chắn về kiến ​​thức của chúng ta. Nói cách khác, một thông điệp chứa thông tin nếu nó làm giảm đi sự không chắc chắn về kiến ​​thức của chúng ta.

Ví dụ, chúng ta ném một đồng xu và cố gắng đoán xem nó sẽ rơi xuống mặt nào. Có thể xảy ra một trong hai kết quả: đồng xu sẽ ở vị trí “ngửa” hoặc “sấp”. Mỗi sự kiện trong số hai sự kiện này sẽ có khả năng xảy ra như nhau, nghĩa là không sự kiện nào có lợi thế hơn sự kiện kia.

Trước khi tung đồng xu, chúng ta không biết chính xác nó sẽ rơi như thế nào. Sự kiện này không thể dự đoán được, tức là trước khi ném, kiến ​​thức của chúng ta không chắc chắn (có thể xảy ra một trong hai sự kiện). Sau khi ném, kiến ​​thức sẽ hoàn toàn chắc chắn vì chúng ta nhận được thông báo trực quan về vị trí của đồng xu. Thông điệp trực quan này làm giảm đi một nửa sự không chắc chắn về hiểu biết của chúng ta, vì một trong hai sự kiện có khả năng xảy ra như nhau đã xảy ra.

Nếu chúng ta ném một con súc sắc sáu mặt thì chúng ta cũng không biết trước khi ném nó sẽ rơi xuống mặt nào. Trong trường hợp này, có thể nhận đượcmột kết quả trong số sáu kết quả có thể xảy ra như nhau. Kiến thức không chắc chắn là sáu, vì có đúng sáu sự kiện có khả năng xảy ra như nhau. Sau khi ném xúc xắc, chúng ta nhận được thông báo trực quan về kết quả, sau đósự không chắc chắn về kiến ​​thức của chúng ta giảm đi sáu lần.

Trường hợp thử nghiệm. Có 30 vé chuẩn bị cho kỳ thi.

  1. Số sự kiện có thể xảy ra khi một tấm vé được rút là bao nhiêu? (Trả lời 30).
  2. Những sự kiện này có khả năng xảy ra như nhau hay không? (Trả lời có khả năng như nhau).
  3. Sự không chắc chắn về kiến ​​thức của sinh viên trước khi rút vé là gì? (Trả lời 30).
  4. Tính không chắc chắn của kiến ​​thức sẽ giảm đi bao nhiêu lần sau khi học sinh rút vé? (Trả lời 30 lần).
  5. Chỉ số này có phụ thuộc vào số lượng vé rút ra không? (Câu trả lời là không, vì các sự kiện đều có khả năng xảy ra như nhau).

Kết luận sau đây có thể được rút ra.

Số lượng các sự kiện có khả năng xảy ra ban đầu càng lớn thì số lần độ không chắc chắn về kiến ​​thức của chúng ta càng giảm đi và lượng thông tin mà thông điệp về kết quả thí nghiệm sẽ chứa càng lớn.

Để lượng thông tin có giá trị dương, cần nhận được thông báo rằng ít nhất hai sự kiện có khả năng xảy ra như nhau.Lượng thông tin chứa trong thông báo cho biết một sự kiện trong số hai sự kiện có khả năng xảy ra như nhau đã xảy ra được lấy làm đơn vị thông tin và bằng 1 bit.

Như vậy 1 bit là lượng thông tin làm giảm đi một nửa độ không chắc chắn của kiến ​​thức.

Một nhóm gồm 8 bit thông tin được gọi là byte . Nếu bit là đơn vị thông tin tối thiểu thì byte là đơn vị cơ bản của nó. Có các đơn vị thông tin dẫn xuất: kilobyte (Kbyte, Kbt), megabyte (Mbyte, Mbt) và gigabyte (Gbyte, Gbt).

1 Kb = 1024 byte = 2 10 (1024) byte.

1 MB = 1024 KB = 2 20 (1024 1024) byte.

1 GB = 1024 MB = 2 30 (1024 1024 1024) byte.

Có một công thức liên quan đến số lượng các sự kiện có thể xảy ra và lượng thông tin:

N = 2i,

ở đâu N số lượng các lựa chọn có thể;

TÔI lượng thông tin.

Từ đây chúng ta có thể biểu diễn lượng thông tin trong một thông điệp về một trong những N các sự kiện có thể xảy ra như nhau: I = log 2 N .

Trường hợp thử nghiệm. Giả sử có một bộ bài gồm 32 lá bài khác nhau. Chúng tôi rút một lá bài từ bộ bài. Chúng ta sẽ nhận được bao nhiêu thông tin?

Số tùy chọn có thể có để chọn một lá bài từ bộ bài 32 ( N = 32) và tất cả các sự kiện đều có khả năng xảy ra như nhau. Hãy sử dụng công thức để xác định lượng thông tin cho các sự kiện có khả năng xảy ra như nhau I = log 2 N = log 2 32 = 5 (32 = 2 i; 2 5 = 2 i; do đó I = 5 bit).

Nếu số lượng các lựa chọn có thể N là lũy thừa nguyên của 2, sau đó thực hiện các phép tính bằng công thức N=2i vừa đủ dễ. Nếu số lượng tùy chọn có thể không phải là lũy thừa nguyên của 2, thì bạn cần sử dụng máy tính kỹ thuật; công thức Tôi = log 2 N hãy tưởng tượng làm thế nàovà thực hiện các phép tính cần thiết.

Trường hợp thử nghiệm. Có thể thu được bao nhiêu thông tin bằng cách đoán một số từ 1 đến 11?

Trong ví dụ này N = 11. Số 11 không phải là lũy thừa của 2 nên chúng ta hãy sử dụng máy tính kỹ thuật và thực hiện các phép tính để xác định TÔI (lượng thông tin). I = 3,45943 bit.

2.3 Các sự kiện có khả năng xảy ra không đồng đều

Rất thường xuyên trong cuộc sống, chúng ta gặp những sự kiện có xác suất xảy ra khác nhau. Ví dụ:

1. Khi dự báo thời tiết được đưa ra, thông tin về mưa có nhiều khả năng xảy ra vào mùa hè và thông tin về tuyết có nhiều khả năng xảy ra vào mùa đông.

2. Nếu bạn là học sinh giỏi nhất trong nhóm thì xác suất được cho biết bạn sẽ đạt điểm 5 trong bài kiểm tra sẽ lớn hơn xác suất nhận được điểm D.

3. Nếu có 10 quả bóng trắng và 3 quả bóng đen trong một túi thì xác suất lấy được một quả bóng đen nhỏ hơn xác suất lấy được một quả bóng trắng.

Làm cách nào để tính lượng thông tin trong một tin nhắn về một sự kiện như vậy? Để làm điều này, bạn cần sử dụng công thức sau:

nơi mà tôi đây là lượng thông tin;

P xác suất của một sự kiện.

Xác suất của một sự kiện được biểu thị bằng phân số thống nhất và được tính bằng công thức:ở đâu K một giá trị cho biết số lần sự kiện mà chúng tôi quan tâm đã xảy ra; N tổng số kết quả có thể xảy ra của một quá trình.

Trường hợp thử nghiệm. Có 20 quả bóng trong một túi. Trong số này, 15 chiếc màu trắng và 5 chiếc màu đỏ. Thông điệp mà bạn đưa ra chứa đựng bao nhiêu thông tin: a) một quả bóng trắng; b) quả bóng màu đỏ. So sánh các câu trả lời.

1. Tính xác suất để lấy được bi trắng:

2. Tìm xác suất để lấy được bi đỏ:

3. Tìm lượng thông tin trong tin nhắn vẽ quả bóng trắng: chút.

4. Tìm lượng thông tin trong tin nhắn vẽ quả bóng màu đỏ: chút.

Lượng thông tin trong thông báo quả bóng trắng đã được lấy ra là 1,1547 bit. Lượng thông tin trong thông báo quả bóng đỏ đã được rút ra là 2 bit.

Khi so sánh các đáp án, xảy ra tình huống sau: xác suất lấy được bi trắng lớn hơn xác suất lấy được bi đỏ nhưng thu được ít thông tin hơn. Đây không phải là sự ngẫu nhiên mà là mối liên hệ tự nhiên, định tính giữa xác suất xảy ra sự kiện và lượng thông tin trong thông điệp về sự kiện này.

2.4 Cách tiếp cận theo thứ tự bảng chữ cái để đo lường lượng thông tin

Khi xác định lượng thông tin bằng phương pháp xác suất, lượng thông tin phụ thuộc vào nội dung, tính dễ hiểu và tính mới của nó. Tuy nhiên, bất kỳ thiết bị kỹ thuật nào cũng không thể cảm nhận được nội dung thông tin. Do đó, từ quan điểm này, một cách tiếp cận khác để đo lường thông tin được sử dụng - theo thứ tự bảng chữ cái.

Giả sử rằng chúng ta có một văn bản được viết bằng tiếng Nga. Nó bao gồm các chữ cái trong bảng chữ cái tiếng Nga, số và dấu chấm câu. Để đơn giản, chúng ta sẽ giả sử rằng các ký tự có mặt trong văn bản với xác suất bằng nhau.

Tập hợp các ký hiệu được sử dụng trong văn bản được gọi là bảng chữ cái. Trong khoa học máy tính, bảng chữ cái không chỉ có nghĩa là các chữ cái mà còn có nghĩa là số, dấu chấm câu và các ký tự đặc biệt khác. Một bảng chữ cái có kích thước (tổng số ký tự của nó) gọi là dung lượng của bảng chữ cái. Chúng ta hãy biểu thị sức mạnh của bảng chữ cái bằng cách N . Sau đó chúng ta sẽ sử dụng công thức để tìm lượng thông tin theo phương pháp xác suất: Tôi = log 2 N . Để tính lượng thông tin bằng công thức này, chúng ta cần tìm sức mạnh của bảng chữ cái N.

Trường hợp thử nghiệm. Tìm lượng thông tin có trong một văn bản 3000 ký tự viết bằng chữ cái tiếng Nga.

1. Tìm sức mạnh của bảng chữ cái:

N = 33 chữ Nga viết hoa + 33 chữ Nga viết thường + 21 ký tự đặc biệt = 87 ký tự.

2. Thay vào công thức và tính lượng thông tin:

I = log 2 87 = 6,4 bit.

Khối lượng thông tin thông tin này được chứa bởi một ký tự trong văn bản tiếng Nga. Bây giờ, để tìm lượng thông tin trong toàn bộ văn bản, bạn cần tìm tổng số ký tự trong đó rồi nhân với lượng thông tin của một ký tự. Hãy để văn bản có 3000 ký tự.

6,4 3000 = 19140 bit.

Bây giờ chúng tôi sẽ giao cho người dịch nhiệm vụ dịch văn bản này sang tiếng Đức. Và do đó văn bản vẫn ở mức 3000 ký tự. Nội dung văn bản vẫn giữ nguyên như cũ. Vì vậy, theo quan điểm của phương pháp xác suất, lượng thông tin cũng sẽ không thay đổi, tức là những kiến ​​thức mới, dễ hiểu không hề được thêm vào hoặc bớt đi.

Trường hợp thử nghiệm. Tìm lượng thông tin có trong một văn bản tiếng Đức có cùng số ký tự.

1. Tìm sức mạnh của bảng chữ cái tiếng Đức:

N = 26 chữ Đức viết hoa + 26 chữ Đức viết thường + 21 ký tự đặc biệt = 73 ký tự.

2. Tìm khối lượng thông tin của một ký tự:

I = log 2 73 = 6,1 bit.

3. Tìm khối lượng của toàn bộ văn bản:

6,1 3000 = 18300 bit.

So sánh lượng thông tin trong văn bản tiếng Nga và tiếng Đức, chúng ta thấy rằng có ít thông tin trong văn bản tiếng Đức hơn tiếng Nga. Nhưng nội dung không thay đổi! Vì vậy, với cách đo lường thông tin theo bảng chữ cái, số lượng của nó không phụ thuộc vào nội dung mà phụ thuộc vào sức mạnh của bảng chữ cái và số lượng ký tự trong văn bản. Từ quan điểm của cách tiếp cận theo thứ tự bảng chữ cái, một cuốn sách dày có nhiều thông tin hơn một cuốn sách mỏng. Trong trường hợp này, nội dung của cuốn sách không được tính đến.

Quy tắc đo lường thông tin theo cách tiếp cận theo bảng chữ cái là:

  1. Tìm sức mạnh của bảng chữ cái N.
  2. Tìm khối lượng thông tin của một ký tự I = log 2 N .
  3. Tìm số ký tự trong tin nhắn K.
  4. Tìm khối lượng thông tin của toàn bộ tin nhắn KI..

Trường hợp thử nghiệm. Tìm khối lượng thông tin của một trang văn bản máy tính.

Ghi chú . Máy tính sử dụng bảng chữ cái riêng, chứa 256 ký tự.

1. Tìm khối lượng thông tin của một ký tự:

I = log 2 N, trong đó N = 256.

I = log 2 256 = 8 bit = 1 byte.

2. Tìm số ký tự trên trang (xấp xỉ bằng cách nhân số ký tự trên một dòng với số dòng trên trang).

40 ký tự trên một dòng 50 dòng trên một trang = 2000 ký tự.

3. Tìm khối lượng thông tin của toàn bộ trang:

1 byte 2000 ký tự = 2000 byte.

Khối lượng thông tin của một ký tự chỉ mang 1 byte thông tin. Do đó, chỉ cần đếm số ký tự trong văn bản là đủ, điều này sẽ cho biết khối lượng của văn bản tính bằng byte.

Ví dụ: nếu văn bản có 3000 ký tự thì khối lượng thông tin của nó là 3000 byte.

3 nhiệm vụ

1. Khi đoán một số trong khoảng từ 1 đến 64 sẽ thu được bao nhiêu thông tin; từ 1 đến 20?

2. Sẽ thu được bao nhiêu thông tin sau nước đi đầu tiên trong trò chơi tic-tac-toe ở ô 3 x 3; 4 x 4?

3. Có bao nhiêu sự kiện có thể xảy ra nếu việc triển khai một trong số chúng tạo ra 6 bit thông tin?

4. Hộp chứa các hình lập phương: 10 đỏ, 8 xanh lá cây, 5 vàng, 12 xanh lam. Tính xác suất để có được một khối mỗi màu và lượng thông tin thu được.

5. Hộp có 36 khối lập phương: đỏ, xanh lá cây, vàng, xanh lam. Thông báo rằng một khối màu xanh lá cây đã được lấy ra mang theo 3 bit thông tin. Trong hộp có bao nhiêu khối lập phương màu xanh lá cây?

6. Nhóm đó có 12 bạn nữ và 8 bạn nam. Thông điệp truyền tải bao nhiêu thông tin rằng một cô gái sẽ được gọi lên bảng; con trai?

7. Tìm khối lượng văn bản được viết bằng ngôn ngữ có bảng chữ cái chứa 128 ký tự và 2000 ký tự cho mỗi tin nhắn.

8. Tìm khối lượng thông tin của cuốn sách là 130 trang.

9. Sắp xếp theo thứ tự tăng dần:

1 Mbt, 1010 kbt, 10.000 bit, 1 gbt, 512 byte.

10. Đặt dấu so sánh vào những chỗ còn thiếu<, >, =:

1 Gb… 1024 Kb… 10.000 bit… 1 Mb… 1024 byte.

4 Câu hỏi bảo mật

1. Thông điệp nào được gọi là mang tính thông tin?

2. Một sự kiện có khả năng xảy ra như nhau có nghĩa là gì; không cân bằng?

3. 1 bit thông tin là gì?

4. Làm thế nào để xác định lượng thông tin cho các sự kiện có khả năng xảy ra như nhau?

5. Làm thế nào để xác định lượng thông tin cho các sự kiện có khả năng xảy ra không giống nhau?

6. Cách tiếp cận theo thứ tự bảng chữ cái để đo lường lượng thông tin

5 bài tập về nhà

1.Cài đặt dấu hiệu so sánh (<, > , =):

1 byte 32 bit 4 byte 1 MB 1024 KB

2.Thứ tự giảm dần:

5byte 25bit 1KB 1010byte

3.Sắp xếp theo thứ tự tăng dần:

2MB 13byte 48bit 2083KB

4. Cuốn sách gồm 100 trang; mỗi trang có 35 dòng, mỗi dòng -50 ký tự. Tính lượng thông tin có trong cuốn sách.

5. Có bức ảnh đen trắng sau đây. Xác định khối lượng thông tin của bức tranh này.

6. Trong ngôn ngữ của bộ tộc Mumbo-Yumbo chỉ có 129 từ khác nhau. Cần bao nhiêu bit để mã hóa bất kỳ từ nào trong số này?

8. Một bức ảnh đen trắng được đưa ra. Xác định lượng thông tin có trong hình ảnh.

9. Khối lượng thông tin của một bức ảnh đen trắng là 6000 bit. Bức tranh có bao nhiêu chấm?