De entropie van een paar bits

De Amerikaan Claude Shannon is de bedenker van de ‘ultieme machine’. Dit is een kleine doos met een aan/uitknop erop. Als je de machine aan zet, komt er een hand uit de doos, die de machine weer uitzet en zich daarna terugtrekt. De vanzelfsprekendheid waarmee het apparaat menselijk handelen corrigeert, geeft het iets superieurs en tegelijk angstaanjagends.

Gelukkig voor Shannon zal hij om meer herinnerd worden dan deze gimmick, die hij maakte om mensen een hint te geven hoe zij zich zouden voelen wanneer computers daadwerkelijk intelligent zouden worden. Shannon legde namelijk de fundamenten voor de informatietheorie. Als onderzoeker bij Bell Labs was het eind jaren veertig zijn taak onderzoek te doen naar ruis op telefoonlijnen. Een helder signaal bevat complete informatie, ruis bevat geen informatie, maar hoe verhouden die twee zich tot elkaar?

Shannon besloot zijn berekeningen te beginnen met het kleinste beetje informatie dat hij kon bedenken, een simpele ja/nee-keuze, een 0 of een 1, een binary digit ofwel een bit (die term werd bedacht door zijn collega John Tukey). Als je een stroom van bits op gang brengt, heeft die een mate van orde. Shannon slaagde erin die mate van orde te vangen in een formule. En omdat die formule nogal leek op die van Ludwig Boltzmanns formule voor entropie, de mate van wanorde in bijvoorbeeld een gas, noemde Shannon zijn vondst informatie-entropie. Later toonden anderen aan dat de overeenkomst in formules geen toeval was. Informatie en entropie bleken nauw verwante begrippen. Een nieuw vakgebied was geboren.

Over dat vakgebied, de informatietheorie, gaat ‘Decoding the universe’ van wetenschapsjournalist Charles Seife. De pretentieuze ondertitel luidt: ‘How the new science of information is explaining everything in the cosmos, from our brains to black holes’. Seife begint bij de geboorte van de thermodynamica en stapt daarna soepeltjes over naar het werk van Shannon. Vervolgens begint hij het spoor bijster te raken.

Natuurlijk is het logisch een hoofdstuk over DNA in te voegen, de code die de grondslag van het leven vormt, en de anekdote over de Afrikaanse Lemba-stam die genetisch verwant blijkt aan de joden is vermakelijk, maar de samenhang met de rest van het boek is mager. Bij de paragrafen over de werking van de hersenen mist Seife zelfs een voorzet voor open doel. Al in Shannons tijd bestonden namelijk modellen die de hersenen omschreven in wiskundige termen die equivalent zijn aan de Turing Machine, het theoretische model achter de computer.

Als hij levende informatie gehad heeft, duikt Seife diep de natuurkunde in, met name het kwantumbegrip van informatie, dat nogal wat ingewikkelder is dan Shannons oorspronkelijke theorie. Een kwantumbit kan tegelijkertijd 0 en 1 zijn. Een van de theoretisch meest interessante toepassing van de kwantumcomputer is het kraken van codes, waarmee wel weer een cirkel rond is. Zowel Claude Shannon als Alan Turing leverden belangrijke bijdragen aan de cryptografie. Turing was degene die tijdens de Tweede Wereldoorlog de code van de Duitse Enigma-machines brak.

Alsof het dan nog niet genoeg is, wendt Seife zich ten slotte tot de informatie-inhoud van de kosmos, om te eindigen met de hittedood van het heelal, het moment waarop alle informatie heeft opgehouden te bestaan. Ook dit onderwerp heeft ontegenzeglijk met informatie te maken, maar toch wringt het. Waar Bill Bryson in ‘A short history of nearly everything’ moeiteloos talloze onderwerpen aan elkaar babbelde, faalt Seife. Je moet heel geconcentreerd lezen of met het vakgebied bekend zijn, om alle dwarsverbanden in ‘Decoding the universe’ volledig te begrijpen. Anders blijft het los zand.

Misschien had Seife te rade moeten gaan bij Norbert Wiener, tijdgenoot van Shannon, die rond 1950 twee invloedrijke boeken schreef over de samenhang van informatietheorie met andere vakgebieden. Wiener voorzag een nieuw vakgebied, dat hij cybernetica noemde, waarin alles wat met informatie te maken had aan de orde kwam. Zo’n overkoepelend vakgebied bleek te omvangrijk om levensvatbaar te zijn, maar Wieners boek ‘Cybernetics’ was wel een fascinerend geheel. Dat geldt voor deze poging van Seife helaas niet.

Charles Seife, ‘Decoding the universe’, pp. 296, Viking, 26,50 euro

De Amerikaan Claude Shannon is de bedenker van de ‘ultieme machine’. Dit is een kleine doos met een aan/uitknop erop. Als je de machine aan zet, komt er een hand uit de doos, die de machine weer uitzet en zich daarna terugtrekt. De vanzelfsprekendheid waarmee het apparaat menselijk handelen corrigeert, geeft het iets superieurs en tegelijk angstaanjagends.

Gelukkig voor Shannon zal hij om meer herinnerd worden dan deze gimmick, die hij maakte om mensen een hint te geven hoe zij zich zouden voelen wanneer computers daadwerkelijk intelligent zouden worden. Shannon legde namelijk de fundamenten voor de informatietheorie. Als onderzoeker bij Bell Labs was het eind jaren veertig zijn taak onderzoek te doen naar ruis op telefoonlijnen. Een helder signaal bevat complete informatie, ruis bevat geen informatie, maar hoe verhouden die twee zich tot elkaar?

Shannon besloot zijn berekeningen te beginnen met het kleinste beetje informatie dat hij kon bedenken, een simpele ja/nee-keuze, een 0 of een 1, een binary digit ofwel een bit (die term werd bedacht door zijn collega John Tukey). Als je een stroom van bits op gang brengt, heeft die een mate van orde. Shannon slaagde erin die mate van orde te vangen in een formule. En omdat die formule nogal leek op die van Ludwig Boltzmanns formule voor entropie, de mate van wanorde in bijvoorbeeld een gas, noemde Shannon zijn vondst informatie-entropie. Later toonden anderen aan dat de overeenkomst in formules geen toeval was. Informatie en entropie bleken nauw verwante begrippen. Een nieuw vakgebied was geboren.

Over dat vakgebied, de informatietheorie, gaat ‘Decoding the universe’ van wetenschapsjournalist Charles Seife. De pretentieuze ondertitel luidt: ‘How the new science of information is explaining everything in the cosmos, from our brains to black holes’. Seife begint bij de geboorte van de thermodynamica en stapt daarna soepeltjes over naar het werk van Shannon. Vervolgens begint hij het spoor bijster te raken.

Natuurlijk is het logisch een hoofdstuk over DNA in te voegen, de code die de grondslag van het leven vormt, en de anekdote over de Afrikaanse Lemba-stam die genetisch verwant blijkt aan de joden is vermakelijk, maar de samenhang met de rest van het boek is mager. Bij de paragrafen over de werking van de hersenen mist Seife zelfs een voorzet voor open doel. Al in Shannons tijd bestonden namelijk modellen die de hersenen omschreven in wiskundige termen die equivalent zijn aan de Turing Machine, het theoretische model achter de computer.

Als hij levende informatie gehad heeft, duikt Seife diep de natuurkunde in, met name het kwantumbegrip van informatie, dat nogal wat ingewikkelder is dan Shannons oorspronkelijke theorie. Een kwantumbit kan tegelijkertijd 0 en 1 zijn. Een van de theoretisch meest interessante toepassing van de kwantumcomputer is het kraken van codes, waarmee wel weer een cirkel rond is. Zowel Claude Shannon als Alan Turing leverden belangrijke bijdragen aan de cryptografie. Turing was degene die tijdens de Tweede Wereldoorlog de code van de Duitse Enigma-machines brak.

Alsof het dan nog niet genoeg is, wendt Seife zich ten slotte tot de informatie-inhoud van de kosmos, om te eindigen met de hittedood van het heelal, het moment waarop alle informatie heeft opgehouden te bestaan. Ook dit onderwerp heeft ontegenzeglijk met informatie te maken, maar toch wringt het. Waar Bill Bryson in ‘A short history of nearly everything’ moeiteloos talloze onderwerpen aan elkaar babbelde, faalt Seife. Je moet heel geconcentreerd lezen of met het vakgebied bekend zijn, om alle dwarsverbanden in ‘Decoding the universe’ volledig te begrijpen. Anders blijft het los zand.

Misschien had Seife te rade moeten gaan bij Norbert Wiener, tijdgenoot van Shannon, die rond 1950 twee invloedrijke boeken schreef over de samenhang van informatietheorie met andere vakgebieden. Wiener voorzag een nieuw vakgebied, dat hij cybernetica noemde, waarin alles wat met informatie te maken had aan de orde kwam. Zo’n overkoepelend vakgebied bleek te omvangrijk om levensvatbaar te zijn, maar Wieners boek ‘Cybernetics’ was wel een fascinerend geheel. Dat geldt voor deze poging van Seife helaas niet.

Charles Seife, ‘Decoding the universe’, pp. 296, Viking, 26,50 euro