Teoria da informação e entropia – como passamos do conhecimento para a informação?

O que é entropia nos termos da física?

Dente de leão simbolizando a entropia. Créditos: www.pngwing.com.

Entropia (do grego εντροπία, entropia), unidade [J/K] (joules por kelvin), é uma grandeza termodinâmica que mede o grau de liberdade molecular de um sistema, está associado ao seu número de configurações (ou microestados), ou seja, de quantas maneiras as partículas (átomos, íons ou moléculas) são distribuídos em níveis energéticos quantizados, incluindo translacionais, vibracionais, rotacionais e eletrônicos. Entropia também é geralmente associada à aleatoriedade, dispersão de matéria e energia, e “desordem” (não em senso comum) de um sistema termodinâmico. A entropia é a entidade física que rege a segunda lei da termodinâmica, à qual estabelece que a ela deve aumentar para processos espontâneos e em sistemas isolados. Para sistemas abertos, deve-se estabelecer que a entropia do universo (sistema e suas vizinhanças) deve aumentar devido ao processo espontâneo até o meio formado por sistema + vizinhanças atingir um valor máximo no estado de equilíbrio. Neste ponto, é importante ressaltar que vizinhanças se entende como a parte do resto do universo capaz de interagir com o sistema, através de, por exemplo: trocas de calor.

Função da entropia binária, ensaio de Bernoulli, princípio da entropia máxima. Créditos: http://www.pngwing.com.

A distribuição de Bernoulli, nome em homenagem ao cientista suíço Jakob Bernoulli, é a distribuição discreta do espaço amostral {0, 1}, que tem valor 1 com a probabilidade de sucesso p e valor 0 com a probabilidade de falha q = 1 − p.

Resumo:

  • P(1) = p
  • P(2) = q
  • p + q = 1
  • q = 1 − p

Se X é uma variável aleatória com essa distribuição, teremos:

P(X=1)=1-P(X=0)=1-q=p

Um exemplo clássico de uma experiência de Bernoulli é uma jogada única de uma moeda. A moeda pode dar “coroa” com probabilidade p ou “cara” com probabilidade 1 − p. A experiência é dita justa se p = 0.5, indicando a origem dessa terminologia em jogos de apostas (a aposta é justa se ambos os possíveis resultados têm a mesma probabilidade).

Gelo derretendo. (C) WiKi.

Uma definição formal de entropia em termos de possibilidade é: entropia é uma medida aditiva do número de possibilidades disponíveis para um sistema. Assim, a entropia de um sistema físico é uma medida aditiva do número de microestados possíveis que podem ser realizados pelo sistema. E a entropia de uma fonte de mensagem é uma medida aditiva do número de mensagens possíveis que podem ser escolhidas dessa fonte de mensagens.

Obs.: com a morte de um organismo vivo, a entropia do organismo aumenta. À medida que o interior morre, seus restos são espalhados pelo vento. No entanto, mesmo nesta morte, novas possibilidades são distribuídas.

Entropia na teoria da informação

A falta de informação é uma medida da informação necessária para escolher um microestado específico de um conjunto de microestados possíveis ou uma mensagem de uma fonte de mensagens possíveis. Ao passo que a incerteza pode ser entendida como a falta de informação sobre uma questão de interesse para um determinado agente (por exemplo, um tomador de decisão humano ou uma máquina), uma condição de conhecimento limitado em que é impossível descrever exatamente o estado do mundo ou sua evolução futura. Portanto, podemos representar essa origem como:

μ(∅) = 0

O significado dessa fórmula é: a entropia do vazio ∅ (origem do conhecimento) é zero 0.

A teoria da informação lógica cumpre precisamente a máxima de Kolmogorov. Ele começa simplesmente com um conjunto de distinções definidas por uma partição (divisão) em um conjunto finito U, onde uma distinção é um par ordenado de elementos de U em blocos distintos da partição – podemos representar isso como Probabilidade/Subespaços. Assim, o objeto “combinatório finito” é o conjunto de distinções (“distset”) ou conjunto de informações (“infoset”) associado à partição – Informação/Partição; ou seja, o complemento em U × U da relação de equivalência associada à partição. Para obter uma medida quantitativa de informação, qualquer distribuição de probabilidade em U define uma medida de probabilidade do produto de U × U, e a entropia lógica é simplesmente essa medida de probabilidade no conjunto de informações. Esta descrição motivacional da teoria da informação lógica será agora desenvolvida em detalhes.

O conceito de incerteza desempenha um papel semelhante. Quanto maior e mais variado o conjunto a partir do qual um sistema pode ser escolhido e quanto maior e mais variada a fonte da mensagem da qual uma mensagem pode ser extraída, mais incerto será o resultado e mais alta será a entropia. A entropia lógica é a medida (no sentido técnico não negativo da teoria da medida) de informações que surgem da lógica de partição assim como a teoria da probabilidade lógica surge da lógica de subconjuntos (subespaços).

Entropia de Shannon

Representação da origem do conhecimento μ(∅) = 0 com o particionamento binário proposto por Shannon. Créditos imagem: CC {rcristo.com.br}

Consequentemente, a entropia de Shannon é interpretada como o número médio do limite de bits necessários por mensagem. Em termos de distinções, este é o número médio de partições binárias necessárias para distinguir as mensagens.

Podemos representar a entropia de Shannon pela fórmula:

H(p)=\sum_{k=1}^{m} p_{k} \log _{2}\left(\frac{1}{p_{k}}\right)

Considere uma árvore binária de três níveis, onde cada ramo se divide em dois ramos equiprováveis em cada nível, como em 2^{3}=8, folhas são as mensagens, cada uma com probabilidade \frac{1}{8}. Uma entropia multiplicativa de Shannon é o número de mensagens equiprováveis 2^{3}=8, e a entropia de Shannon é o número de decisões binárias ou bits \log \left(2^{3}\right)=3 necessários para determinar cada mensagem que, neste exemplo canônico, é o comprimento do código binário de cada mensagem.

Máquina de Galton

Tabuleiro de Galton em movimento. Créditos Wikipédia.

Se pensarmos na árvore como uma máquina de Galton com bolinhas de gude caindo da raiz e tomando um dos galhos com igual probabilidade, então a probabilidade de alcançar qualquer folha em particular é, obviamente, \frac{1}{8}. A entropia lógica é a probabilidade de que em duas tentativas diferentes a bola de gude alcance folhas diferentes.

h (p) = 1 − 8 × \left(\frac{1}{8}\right)^{2}=1-\frac{1}{8}=\frac{7}{8}

Entropia como possibilidade é uma palavra adequada e, ao contrário da incerteza e da falta de informação, tem conotação positiva. Assim, de acordo com a segunda lei da termodinâmica, um sistema termodinâmico isolado sempre evolui no sentido de abrir novas possibilidades. E quanto maior o conjunto de possibilidades a partir do qual um microestado ou uma mensagem podem ser realizados ou escolhidos, maior será a entropia do sistema físico ou a entropia de Shannon da fonte da mensagem.

Convenções sobre operações indexadas no conjunto vazio

  • Somas vazias = 0
  • Produtos vazios = 1
  • Uniões vazias = ∅
  • Interseções vazias = o conjunto universo
  • Permutações vazias = 1

O conjunto vazio { } = ∅ determina a origem dos microestados ou da informação que será medida.

{RC}.

A medida direta é a entropia lógica que é a medida quantitativa das distinções feitas por uma partição. A entropia de Shannon é uma transformação ou reunificação da entropia lógica para a teoria matemática das comunicações. O matemático Andrei Kolmogorov sugeriu que as informações devem ser definidas independentemente da probabilidade, de modo que a entropia lógica é definida pela primeira vez em termos do conjunto de distinções de uma partição e, em seguida, uma medida de probabilidade no conjunto define a versão quantitativa da entropia lógica.

A entropia de Shannon é frequentemente apresentada como sendo a mesma que a entropia de Boltzmann.

Conectividade espacial e subespacial

Trabalhamos com um espaço métrico que entendemos como um plano complexo, a menos que especificado de outra forma. A letra Ω denotará um conjunto aberto no espaço métrico, consequentemente, uma região é simplesmente conectada se e somente se seu complemento no plano complexo estendido estiver conectado. Assim, uma região é simplesmente conectada se e somente se não tiver orifícios. Este é um critério muito transparente para determinar se uma região está simplesmente conectada ou não.

Para qualquer conjunto finito U, uma medida μ (lê-se: mi é a décima segunda letra do alfabeto grego) é uma função μ: ℘ (U) → R tal que:

μ(∅) = 0,

para qualquer E ⊆ U, μ (E) ≥ 0, e

para quaisquer subconjuntos disjuntos E1 e E2, μ (E1 ∪ E2) = μ (E1) μ (E2).

Seja X um espaço métrico e E ⊆ X, começamos com uma definição de conectividade

Definição: um conjunto E é conectado se E não puder ser escrito como uma união disjunta de dois subconjuntos abertos relativos não vazios de E. Assim, E = A ∪ B com A ∩ B = ∅ e A, B aberto em E implica que A = ∅ ou B = ∅. Caso contrário, E = A ∪ B é chamado de separação E em conjuntos abertos. Por exemplo, a união E de dois discos abertos separados A e B não está conectada, pois:

E = A ∪ B = (A ∪ B) ∩ E = (A ∩ E) ∪ (B ∩ E)

onde A ∩ E e B ∩ E não estão vazios, disjuntos e relativamente abertos em E. Como em C, um conjunto conectado aberto em um espaço métrico é chamado de região.

Definição: um subconjunto máximo conectado de E é chamado de componente de E. Para a ∈ E, seja C(a) a união de todos os subconjuntos conectados de E contendo a. Observamos que a ∈ C (a) uma vez que {a} está conectado e:

E=\bigcup_{a \in E} C(a)

Fornecemos algumas propriedades de C(a).

(i) C(a) está conectado.

A prova é por contradição. Seja C(a) = A ∪ B uma separação de C(a) em conjuntos abertos. Podemos assumir que a ∈ A e b ∈ B. Então, como b ∈ C(a) e C(a) é a união de todos os subconjuntos conectados de E contendo a, existe E0 ⊆ E tal que E0 ⊆ C(a) está conectado e a ∈ E0, b ∈ E0. Por isso:

E0 = E0 ∩ C (a) = E0 ∩ (A ∪ B) = (E0 ∩ A) ∪ (E0 ∩ B)

implica que ou E0 ∩ A = ∅ ou E0 ∩ B = ∅. Isso é uma contradição, pois a ∈ E0 ∩ A e b ∈ E0 ∩ B.

Assim, cada componente de E tem a forma C(a) com um ∈ E.

Os componentes de E são disjuntos ou idênticos.

Seja a, b ∈ E. Suponha que C(a) ∩ C(b) = ∅. Então provamos que C(a) = C(b). Seja x ∈ C(a) ∩ C(b). Então x ∈ C(a). Como C(a) está conectado, deduzimos que C(a) ⊆ C(x). Então a ∈ C(x) que implica C(x) ⊆ C(a) já que C(x) está conectado. Assim, C(a) = C(x). Da mesma forma C(b) = C(x) e, portanto, C(a) = C(b).

Os componentes de um conjunto aberto são abertos

Seja E um conjunto aberto. Basta mostrar que C(a) com a ∈ E está aberto. Seja x ∈ C(a).

(ii) Então C(x) = C(a).

Como x ∈ E e E é aberto, existe r > 0 tal que D(x, r) ⊆ E. De fato, D(x, r) ⊆ C (x) já que D(x, r) está conectado contendo x. Assim, x ∈ D(x, r) ⊆ C(a) e, portanto, C(a) é aberto.

Ao combinar (i), (ii) concluímos: um conjunto aberto em um espaço métrico é uma união disjunta de regiões.

Para os pontos P0, P1, …, Ps no plano complexo, escrevemos [P0, P1, …, Ps] para o caminho poligonal obtido unindo P0 a P1, P1 a P2, …, Ps− 1 a Ps por segmentos de linha. Agora fornecemos um critério fácil de aplicar para mostrar que os conjuntos no plano estão conectados.

Seja E um subconjunto aberto não vazio de C. Então E é conectado se e somente se quaisquer dois pontos em E podem ser unidos por um caminho poligonal que está em E.

Prova: Suponha que E está conectado. Como E = ∅, seja a ∈ E. Seja E1 o subconjunto de todos os elementos de E que podem ser unidos a a por um caminho poligonal. Seja E2 o complemento de E1 em E. Então:

E = E1 ∪ E2 com E1 ∩ E2 = ∅, a ∈ E1.

É suficiente mostrar que E1 e E2 são subconjuntos abertos de E. Então E2 = ∅ visto que E está conectado e a ∈ E1. Assim, cada ponto de E pode ser unido a a por um caminho poligonal que fica em E. Portanto, quaisquer dois pontos de E podem ser unidos por um caminho poligonal que fica em E via a.

Primeiro, mostramos que E1 está aberto. Seja a1 ∈ E1. Então a1 ∈ E e como E está aberto, encontramos r1 > 0 tal que D(a1, r1) ⊆ E. Qualquer ponto de D(a1, r1) pode ser unido a a1 e, portanto, a a por um caminho poligonal que fica em E desde a1 ∈ E1. Assim, a1 ∈ D(a1, r1) ⊆ E1. A seguir, mostramos que o E2 está aberto. Seja a2 ∈ E2. Novamente encontramos r2 > 0 de modo que D(a2, r2) ⊆ E visto que E está aberto. Agora, como acima, vemos que nenhum ponto deste disco pode ser unido a a como a2 ∈ E2 e, portanto, a2 ∈ D(a2, r2) ⊆ E2. Agora assumimos que se quaisquer dois pontos de E podem ser unidos por um caminho poligonal em E, mostramos que E está conectado. Deixe:

E = E1 ∪ E2

Seja uma separação de E em conjuntos abertos. Não há perda de generalidade em assumir que existem pontos a1 ∈ E1 e a2 ∈ E2 tais que:

χ (t) = ta1 (1 – t) a2 com 0 <t <1

é um segmento aberto de a2 a a1 situado em E. Deixe:

V = {t ∈ (0, 1)|χ(t) ∈ E1} e W = {t ∈ (0, 1)|χ(t) ∈ E2}.

Vimos que V e W estão abertos em (0, 1). Além disso, temos a separação do intervalo aberto (0, 1) em conjuntos abertos (0, 1) = V ∪ W, V ∩ W = ∅

Como a1 ∈ E1 e E1 está aberto, existe r3 > 0 com D(a1, r3) ⊆ E1. Isso implica V = ∅. Da mesma forma W = ∅. Portanto, o intervalo (0, 1) não está conectado. Isso é uma contradição.

Partições Young

Para uma partição λ, o diagrama de Young da forma λ é um diagrama justificado à esquerda |λ| em caixas, com λi caixas pretas na i-ésima coluna, denotamos o conjunto de todos os diagramas Young contidos em um k × (m − k) caixa por Tk,m−k \mathcal{T}_{m}=\cup_{k=0}^{m}

Por exemplo, os diagramas de Young no conjunto T2,2 são dados por:

O conjunto T3 é dado por:

Observe que cada diagrama de Young em Tm pode ser obtido de um diagrama de Young em Tm−1 adicionando uma coluna vazia à sua direita ou uma linha preenchida antes de sua primeira linha. Por exemplo, as partições obtidas da partição λ = ∅ ∈ T1,2 são dadas por 1 ∈ T2,2 e ∅ ∈ T1,3. Assim, o número de diagramas de Young no conjunto Tm é dado por 2m. A seguir, identificamos uma partição e seu diagrama Young associado.

Para qualquer partição λ = λ1 ··· λk, definimos λ∗ como a partição λ∗ = (λ1 + 1)(λ2 + 1)··· (λk + 1) e λ∗ como a partição λ∗ = λ1 ·· · λk0.

Em outras palavras, λ ∗ é o diagrama de Young que é obtido de λ adicionando uma linha preenchida antes da primeira linha de λ, e λ ∗ é o diagrama de Young que é obtido de λ adicionando uma coluna vazia no lado direito de λ.

O que são dados?

O significado de dados é: um conjunto de informações que depende da forma (espacial ou subespacial) e tipo (estruturados ou não estruturados). Ex: uma letra, uma palavra, símbolos matemáticos, uma página de texto, um livro em formato pdf, um livro em papel, uma planilha, um formulário em papel ou online, etc. Os dados podem ser classificados no tipo: estruturados e não estruturados.

Obs.: um livro em papel é um dado espacial, um livro em PDF ou EPUB é um dado subespacial.

O principal objetivo das minhas pesquisas é esclarecer você leitor para que se proteja dos absurdos conceituais que os influenciadores da própria internet estão disseminando o tempo todo; 100% de tudo o que você leu, ouviu, assistiu, etc., precisa de provas contundentes (referências lógicas válidas), para alcançar CVJV, caso contrária não terá validade.

Claude Shannon

Em 1948, publicou o importante artigo científico intitulado A Mathematical Theory of Communication July, October, 1948 – C. E. SHANNON enfocando o problema de qual é a melhor forma para codificar a informação que um emissor queira transmitir para um receptor.

Clique na foto de Shannon (Courtesy of MIT Museum) e baixe em PDF seu mais importante trabalho.

A matemática é a linguagem com a qual escrevemos as partituras que representam a realidade percebida (universo), cujo pano de fundo é a entropia, a origem do conhecimento é o vazio { } e a informação é a possibilidade da representação que pode ser compactada em espaços e subespaços.

{RC}.

Referências Bibliográficas