Aliens

Entropija, kibernētiskā

Informācijas teorijas pamatjēdziens kas kvantitatīvi raksturo gadījumlieluma nenoteiktību.

Mēvienība - bits.

Ja dots diskrēts gadījumlielums X, kas ar varbūtības p₁, p₂ ... p_k pieņem attiecīgi vērtības x₁, x₂, ... x_k, tad entropija aprēķināma pēc formulas

                                                         H(X) = H(p₁, p₂, ... p_k) = - summas zīme p_i log₂p_i.

Entropiju H(X) var interpretēt kā skaitli, kas izteic, cik ar "jā" vai "nē" atbildamu jautājumu vidēji nepieciešams, lai uzzinātu gadījumlieluma X vērtību. Entropijas jēdzienu lieto, definējot informācijas jēzienu: saņemtās informācijas daudzums tiek mērīts ar atbilstošo entropijas samazināšanos. Entropijas jēdziens dod iespēju formulēt fundamentālas likumsakarības, kas jāievēro, lai varētu optimāli kodēt pa sakaru kanāliem raidāmos ziņojumos.

Entropijas jēdzienu kibernētikā 1947.gadā ieviesis K.Šenons (ASV).