InformationsEntropi

This page is a sub-page of our page on Ahistoric Entropy.

/////// Tor Nørretranders, 1993, Märk Världen:

/////// Quoting Nørretranders (1993: s. 12):

“Informationens spöke går genom vetenskaperna.” Med denna indirekta hänvisning till Marx’ och Engels’ kommunistiska manifest från 1848 kallade den polskfödde och i Polen utbildade fysikern Wojcieh Zurek, som idag arbetar i USA, år 1988 till ett möte i staden Santa Fe i New Mexico i USA. Ett möte där 40 av världens ledande fysiker och några matematiker samlades för att diskutera “Entropi, komplexitet och informationens fysik”, som mötesrubriken löd.

Zurek pekar i kallelsen på en rad “djupa överensstämmelser” mellan vitt skilda delar av fysiken – och också mellan fysiken och vardagen: överensstämmelser mellan ångmaskiner och kommunikationsteori, mellan mätningar av atomnära fenomen och kunskapsteori, mellan svarta hål i universum och mängden av oordning i en tekopp, mellan datorberäkningar och matematikens grundvalsproblem, mellan de biologiska systemens komplexitet och universums utvidgning.

När fysikerna samlades till ett nytt möte två år senare hölls inledningsanförandet av den då 79-årige John A. Wheeler, den man som utarbetade teorin för atomklyvning tillsammans med Niels Bohr 1939 och namngav det märkligaste fenomenet i Einsteins gravitationsteori: de svarta hålen. John Wheeler är “the grand old man” inom många av de grenar av fysiken som skulle diskuteras och uppträder gärna som profet.

Den lille runde mannen med det alltid vänliga och glada ansiktet kikade ut över den lilla – men mycket kvalificerade – krets av forskare som måndagen den 16 april 1990 hade samlats i möteslokalen på det lilla Santa Fe Institute. Sedan sade han: “Det här är inte bara ett möte som alla andra. Före fredag eller lördag förväntar jag mig att vi vet hur universum är konstruerat.”

Därefter övergick Wheeler till att ifrågasätta en rad av fysikens heliga kor. “Det finns inget rum och ingen tid”, förklarade han och gick sedan lös på föreställningen om verkligheten: “Det finns inget där ute där ute.”

“Föreställningen om ett enda universum är idiotisk: världen. Vi är alla deltagande observatörer i världen – det är ett under att var och en av oss kan göra sig samma bild av universum. Men när veckan är slut vet vi kanske hur vi kan förklara allt detta ur ingenting”, sade Wheeler till den lilla kretsen av toppforskare.

Alla var inte eniga – utom efteråt: det blev inte den veckan som ändrade världsbilden. Men känslan av att det är dags att börja om från början och tänka igenom alltihop igen spred sig. Den ene forskaren efter den andre satte i sina inlägg fysikens grundbegrepp under luppen.

“Jag tänker tala om allt det som inte står i läroböckerna”, förklarade en annan liten tjock amerikansk fysiker, Edwin T. Jaynes, som på 1950-talet formulerade en ny teoretisk beskrivning av termodynamiken eller värmeläran, grunden för mötets centrala begrepp, entropi och information. “Jo, det står där kanske i den meningen att formlerna står där, men det står ingenting om vad de betyder”, sade Jaynes. “Den matematik jag nu tänker använda är mycket enklare än den vi alla kan. Men problemen är inte matematiska; de är begreppsliga”, förklarade Jaynes.

I en paus utbrast matematikern Thomas Cover från Stanforduniversitetet: “Är alla fysikermöten som det här? Det här är ju skitkul!”

Det var ett undantag. Möten med en sådan öppenhet hör till de extrema sällsyntheterna. Här kunde man höra samma frågor som retade gallfeber på lärarna i gymnasiet: Vad betyder det? Vad menas med det? Här kunde man höra berömda vetenskapsmän utbrista: “Men varför i hela världen skulle min bilmotor bry sig om hur min beskrivning ser ut?”

Fysiken var som pånyttfödd. Alltihop på grund av det första seriösa ämne som togs upp sedan Wheeler slagit an tonen: Maxwells demon.

/////// End of quote from (Nørretranders, 1991)

Konsten att glömma

/////// Quoting Nørretranders (1993: p. 31):

År 1929 ställde den ungerske fysikern Leo Szilard en bra fråga: Kan vi ta reda på allt om världen utan att förändra den? Och svaret var enkelt och klart: Nej, det kan vi inte.

I en avhandling med den långa titeln “Om entropiminskningen i ett termodynamiskt system vid ingrepp av intelligenta varelser” frågade Szilard: Vad kostar det att skaffa sig kunskap? Och kan priset ‘rädda’ den andra huvudsatsen från Maxwells demon?

Leo Szilard gav också svaret. Han beräknade kostnaden för att få veta något. Han räknade ut att den är precis så stor att den andra huvudsatsen klarar sig. För att få veta så mycket som Maxwells demon måste man omvandla en stor mängd energi. Men därmed alstrar man också en stor mängd entropi, så att vinsten med all kunskapen uppvägs. Demonen gör visserligen en vinst genom att bevaka varenda molekyl och öppna och stänga luckan i rätt ögonblick, men vinsten är mindre än kostnaden. För att kunna öppna och stänga luckan vid de rätta tidpunkterna måste man känna till varenda molekyls rörelse. Det innebar att varenda molekyl måste mätas. Och det kostar, förklarade Szilard.

“Det är rimligt att anta att en mätprocess är fundamentalt förbunden med en viss bestämd entropiproduktion, och att denna återställer överensstämmelsen med den andra huvudsatsen.”

Det var en genial idé, som på ett avgörande sätt har präglat 1900-talets vetenskap, från informationsteori och datalogi till molekylärbiologi.

Fysikerna jublade. Demonen var utdriven. Den fungerar bara för att den har kunskap om världen – och den kunskapen får den inte gratis. Vetenskapshistorikerna har sedan dragit upp de stora linjerna: “Varför tänkte Maxwell inte på det?” undrade Edward E. Daub 1970 i en tidskrift för studier i vetenskapens historia och filosofi. Och han svarade: “Därför att hans demon var ett barn av hans teologi.”

Maxwells teologi härstammade enligt Daub från Isaac Newton, den moderna fysikens grundare. Newton talade om den Gud som ser, hör och förstår allt “på ett sätt som inte alls är kroppsligt, på ett sätt som är fullkomligt okänt för oss. Liksom en blind inte kan föreställa sig färger, kan vi inte föreställa oss hur en allvetande Gud uppfattar och förstår allting”.

Det var den guden Szilard gjorde upp med. “Maxwells demon var skapad till Guds avbild och därför inte dödlig”, skrev Daub. “Och liksom Gud kunde han se utan att se och höra utan att höra. Han kunde kort sagt skaffa sig information utan att använda energi. […] Szilard gjorde Maxwells dörrvakt dödlig.”

Leo Szilards analys av Maxwells demon inledde studiet av vetandet som en del av den fysiska världen, insikten om ett deltagande som kostar, mätningar som materiella aktiviteter, varseblivning som ämnesomsättning, kunskap som arbete – tänkandets termodynamik. Själens insikt om sin egen kroppslighet. En händelse av mycket stor betydelse i den mänskliga kunskapens historia. En milstolpe i människans förståelse av sin omvärld – och sig själv.

Desto märkligare är det at Szilards analys faktiskt är felaktig. Man kan inte driva ut demonen med Szilards argument. De håller inte – även om man trodde på dem i ett halvt århundrade, ända fram till 1982.

“Det är en av de stora gåtorna i vetenskapens sociologi att denna uppenbarligen bristfälliga argumentation godtogs så okritiskt av så många”, konstaterade fysikern Rolf Landauer 1989 – och tillfogade med illa dold otålighet: “Det är först de senaste åren som frågan har fått en klarare belysning, och det nya synsättet har ännu inte vunnit något större gehör …
Rolf Landauer, som arbetar på datorföretaget IBM:s forskningslaboratorier i Yorktown Heights nära New York, har själv varit en ledande kraft i det tankearbete som ledde till demonens slutliga utdrivning. Den ombesörjdes av Landauers nära medarbetare Charles Bennett 1982.

Det som kostar något är inte alls att mäta, att skaffa sig information. Det som kostar är att göra sig av med informationen igen. Det som kostar är inte kunskap. Det är visdom.

En felaktig slutsats hade som så ofta förr – och senare – i vetenskapens historia visat sig utomordentligt fruktbar. Leo Szilards analys håller inte, men det gör den inte mindre intressant. Szilard hade nämligen förstått en mycket väsentlig del av poängen.

Szilard skriver faktiskt inte alls att han har drivit ut Maxwells demon. Han skriver som vi nyss citerade att det “är rimligt att anta” att en mätprocess kostar en viss mängd ökad entropi, en viss mängd otillgänglighet hos den givna energin. Och sedan visar han att denna entropiökning är minst lika stor som den energi man får tillgång till genom den insats demonen kan göra med hjälp av sin kunskap. I själva verket antar Szilard alltså bara att varje mätning medför en kostnad i form av ökad entropi. Han bevisar det inte.

Den inskränkningen var det dock inte så många som uppmärksammade. Och det är det som förvånar Landauer. Hur kunde Szilards argument stå oemotsagt i ett halvt århundrade och visa sig så fruktbart trots att det var felaktigt? En väsentlig orsak var naturligtvis att man var lite generad över att demonen kunde driva gäck med den mest grundläggande av fysikens lagar: termodynamikens andra huvudsats. Den är så fundamental att det var fullkomligt uppenbart att Maxwells demon inte kunde fungera: för om den fungerade skulle man ju kunna bygga alla möjliga sorters evighetsmaskiner och hämta rumsvärme ur nattkylan. Därför var det inget tvivel om att någonting var fel. Och Szilard var en duktig fysiker som hade lagt fram ett elegant argument för att någonting var fel.

Inte för att det inte restes invändningar mot hans analys: Men de kom framför allt från filosofer. Och fysiker har aldrig hyst någon större respekt för filosofer som argumenterar mot fysiska forskningsresultat för att de strider mot filosofiska uppfattningar. De som protesterade var män som Karl Popper, Paul Feyerabend och Rudolf Carnap – tre av århundradets mest inflytelserika vetenskapsfilosofer – men skälet till deras protester var inte minst att det rimmade illa med deras egen filosofi att betrakta själsliga fenomen som fysiska storheter. Och därför gjorde invändningarna inget större intryck.

Szilards idé från 1929 påminde dessutom i många avseenden om atomfysikernas iakttagelser på 1920-talet om mätprocessens betydelse för studiet av materiens smådelar. Dansken Niels Bohr och hans tyske elev Werner Heisenberg hade pekat på att mätningar stör de system man mäter. Detta hade visserligen inget med saken att göra, men det trodde man, särskilt som en rad fysiker gjorde vackra försök att konkretisera Szilards tankegångar.

/////// End of Quote from Nørretranders (1993)

/////// Quoting Nørretranders (1993: p. 43):

Vi har alla en föreställning om att information är något bra, något vi förknippar med ordning och reda och korrekthet. Det var det vi lärde oss när vi ‘skrev rent’ provräkningarna i skolan: att utesluta alla mellanuträkningarna på de blyertsskrivna kladdpapperen och bara skriva ut det prydliga svaret med bläck. Vi har lärt oss att gallra bort information, inte att skaffa den. Ändå lever vi i en värld som tror att det är information som är det värdefulla i samhället.

Det är alltså något grundläggande fel med den vardagliga synen på information (eller också är det naturvetenskapens informationsbegrepp det är något fel med; i vilket fall som helst rimmar de illa med varandra). Maxwells demon har redan pekat på en del av problemet. Men den har fler äss i rockärmen. Vilket för oss tillbaka till Ludwig Boltzmann.

Några år före Maxwells död publicerade Ludwig Boltzmann en rad uppsatser där han utvecklade en fantastisk teori för sambandet mellan entropibegreppet, som härrörde från studiet av gränserna för ångmaskiners effektivitet, och teorin för värme som en statistisk rörelse hos materiens smådelar. Maxwell fick aldrig tillfälle att läsa dessa arbeten och gick därför, med historikern Martin Kleins ord “miste om glädjen att se sammanhanget mellan entropi och sannolikhet”.

Bolzmanns idé var enkel. Han skilde mellan det vi idag kallar makrotillstånd och mikrotillstånd, mellan egenskaper hos stora anhopningar av material och egenskaper hos materiens enskilda beståndsdelar. Makrotillstånd är sådana storheter som temperatur, tryck och volym. Mikrotillstånd är en noggrann beskrivning av varje enskild beståndsdels beteende.

[…]

Ludwig Bolzmanns idé innebar så att säga att de makrotillstånd som kan realiseras av många olika mikrotillstånd är mer oordnade än de som svarar mot få mikrotillstånd. Ju flera mikrotillstånd som hör till ett makrotillstånd, desto store entropi har makrotillståndet. Men antalet mikrotillstånd som svarar mot makrotillståndet “temperaturen i rummet är 21 grader Celsius” är oerhört stort och därmed svårt att beräkna. Bolzmann tillgrep därför ett matematiskt knep som man hade utnyttjat ända sedan renässansen när man hade att göra med alltför stora tal: han tog logaritmen för antalet mikrotillstånd och satte den lika med entropin.

[…]

Det viktigaste är dock själva grundidén, oavsett hur den utformas matematiskt. Entropin är ett mått på hur många mikrotillstånd vi inte orkar hålla reda på och därför ersätter med ett makrotillstånd. Entropin är ett mått på hur mycket vi sopar under mattan genom att använda ett överordnat begrepp som talar om för oss det vi behöver veta, till exempel hur hög temperaturen är.

Vi människor tycker om värme. Vi intresserar oss för temperaturen. Molekylernas rörelser struntar vi egentligen i (ungefär som politiker ofta intresserar sig för väljarna bara när de är tillräckligt många för att bilda det makrotillstånd som uttrycks av valresultatet. Makrotillståndet är uttryck för ett intresse, en relevans; det handlar om det som intresserar oss, det vi har intresse av att veta.

Poker är ett bra exempel. Man har en kortlek. När man köper den befinner den sig i ett mycket bestämt makrotillstånd. De enskilda spelkorten ligger ordnade i följd efter färg och valör. Detta makrotillstånd motsvaras av ett och endast ett mikrotillstånd, där alla korten ligger i fabriksbestämd ordning.

Men innan man börjar spela skall korten blandas. När man har en lek med blandade kort har man fortfarande bara ett makrotillstånd – blandade kort – men detta makrotillstånd motsvaras av nästan oändligt många olika mikrotillstånd. Det är skillnad mellan alla sätt som korten kan vara blandade på, men vi orkar inte intressera oss för denna skillnad utan nöjer oss med att kalla dem blandade.

Själva spelet inleds med att varje spelare får fem kort, en ‘hand’. Denna hand är nu det makrotillstånd som intresserar spelarna. Den kan uppträda i olika varianter. En del makrotillstånd består av mycket likartade kort, till exempel fem kort i samma färg, en ‘flush’. Andra makrotillstånd består av fem kort i svit, en ‘straight’. Det finns många sätt att bilda en straight på, men inte oerhört många. Det finns många flera sätt att bilda en icke-straight på.

Det finns alltså flera mikrotillstånd som svarar mot en ‘dålig hand’ – till exempel en hand med bara två lika kort (dvs kort med samma valör) och resten utan gemensamma egenskaper – än det finns händer med straight eller flush. Till och med den sällsynta straighten kan dock bildas på många sätt: korten behöver inte ha samma färg, bara de är i ordningsföljd.

Bland de många mikrotillstånd som betecknas som makrotillståndet ‘straight’ finns det en liten grupp särskilt ‘fina’ händer som kallas ‘straight flush’. I en sådan hand är korten inte bara i ordningsföljd, utan också i samma färg. Och allra finast är ‘royal straight flush’, där alla korten är i följd och i samma färg och dessutom de fem högsta i färgen. Det finns bara fyra mikrotillstånd som svarar mot makrotillståndet royal straight flush – men ett astronomiskt antal som svarar mot makrotillståndet ‘ett par’.

Pokerspelets rangordning mellan olika hander är ett uttryck för hur många mikrotillstånd som svarar mot olika makrotillstånd. Man har ‘en stark hand’ om man har en hand som inte finns i särskilt många varianter (och därför sällan förekommer).

Det finns ett klart samband mellan ‘sannolikhet’ och ‘entropi’. Ju fler olika kort som kan användas för att bilda en bestämd hand, desto mer sannolikt är det att man får just den handen. Det är alltså mer sannolikt att man får en dålig hand (med stor entropi) än en bra hand, vars makrotillstånd bara motsvaras av ett mycket litet antal mikrotillstånd.
Spelet går sedan ut på att slåss om vem som har makrotillståndet med den lägsta entropin.

De allra flesta mikrotillstånd är emellertid så ointressanta att de inte ens har något namn i poker – det finns intet system i korten och man kan bara avge budet ‘högt kort’, ett makrotillstånd som svarar mot varje mikrotillstånd. När man spelar för nöjes skull inför man en möjlighet att påverka sitt makrotillstånd genom att ändra mikrotillståndet: man byter ett eller flera kort. Därigenom kan man förbättra sitt makrotillstånd till ett som svarar mot färre mikrotillstånd. Man leker Maxwells demon. Förutsatt att man har tur och gör ett gott byte.

Det egentliga spelet börjar sedan med att man låtsas som om det makrotillstånd man har på hand bara motsvaras av mycket få mikrotillstånd, även om detta är lögn. Men då handlar det om bluff och då krävs det mer avancerade teorier än Bolzmanns. De kommer i kapitel 5.

Sambandet mellan entropi och sannolikhet kan ge en företällning om varför entropin växer. Det är mindre sannolikt att få ett tillstånd med låg entropi än ett med hög entropi. Därför går utvecklingen hela tiden mot högre entropi.

Ett makrotillstånd som förändras övergår ofrånkomligt i ett annat makrotillstånd som har högre entropi – och alltså motsvaras av flera mikrotillstånd än det första. Världen blir ständigt svårare att hålla reda på. Det är ingenting mystiskt med det. Det ger sig självt så snart vi har definierat makrotillstånden. Men hur kan världen veta vad vi tycker är för ointressant att hålla reda på?

Entropi är ett uttryck för det antal mikrotillstånd som svarar mot ett givet makrotillstånd, förklarade Bolzmann. Det låter som ett mycket subjektivt begrepp, eftersom det tycks uttrycka det vi inte vet när vi känner makrotillståndet. En hög temperatur motsvaras av en hög entropi, eftersom man kan bilda molekylernas rörelsemönster på flera olika sätt ju större hastigheten är. Vår kunskap om det faktiska mikrotillståndet blir mindre ju varmare det är i rummet. Entropi är ett mått på en okunnighet, men en ändamålsenlig okunnighet: det är faktiskt ingen mening med att veta hur fort varenda molekyl är på väg.

Entropi är ett mått på ‘grovkornigheten’ på den nivå vi beskriver. Värme är ett mycket grovkornigt begrepp; det innehåller en massa kunskap som vi utan vidare kan bortse ifrån. Värmebegreppet innebär en stor mängd entropi, eftersom det är mycket grovkorningt och sorterar bort en massa kunskap om mikrotillstånd som vi inte har behov av. Vind och ström är inte fullt lika grovkorninga begrepp, eftersom vi vet lite mer om vart molekylerna är på väg när vi sägar att det blåser varmt än när vi säger att det är varmt.

Entropi är ett mått på information som inte är av omedelbart intresse för oss, mikrotillstånd som vi bara blir trötta i huvudet av att tänka på. Entropi är ett begrepp som får mening först när vi har talat om vad det är vi inte orkar hålla reda på. Entropibegreppet förutsätter att vi har klargjort vilka makrotillstånd som intresserar oss. Men oavsett vilka vi väljer så ökar deras entropi.

Termodynamikens andra huvudsats säger att världen ständigt blir svårare att beskriva: oordningen tilltar, alltihop slutar som friktion och värme, som en enda röra, en form av ordning som är så rik på detaljer att det är likgiltigt vilka.

Hur kan världen veta vad vi tycker är en enda röra? Och varför står det aldrig i fysikböckerna att ett begrepp som entropi inte har någon som helst mening om man inte förklarar vilket makrotillstånd man tänker på? Varför får skolelever och universitetsstuderande som läser värmelära och termodynamik aldrig veta att Maxwell och Boltzmann hela tiden utgick från vårt sätt att beskriva världen? Därför att fysikerna omedvetet vet att det som intresserar oss människor är värme.

Det är en tyst förutsättning för hela den moderna termodynamiken att människor tycker om värme. Därför handlar termodynamiken om värme och motsvarande makrotillstånd – sådant som intresserar människor. Mikrotillstånden är atomernas och molekylernas anordning – sådant som intresserar fysiker.

Men för att definiera entropi måste vi veta vem som definierar den. För att definiera entropi måste vi veta hur ‘grovkornig’ iakttagaren är. Och detta tycker fysiklärarna är så självklart att det inte finns någon anledning att tala om det för eleverna.

Det var precis det förhållandet som Edwin Jaynes syftade på när han på fysikermötet i Santa Fe 1990 talade om vikten av att klargöra vad det som står i läroböckerna betyder. Jaynes har formulerat om den moderna upplagan av termodynamiken så att Boltzmanns gamla poänger tydligt framträder. År 1979 skrev han: “Ett termodynamiskt systems entropi är ett mått på graden av okunnighet hos en person, vars enda kunskap om dess mikrotillstånd består av värdena på de makroskopiska storheter \, X \, som definierar dess termodynamiska tillstånd. Detta är en fullkomligt ‘objektiv’ storhet i den meningen att den enbart är en funktion av \, X \, och inte är beroende av någons personlighet. Det finns därför inget skäl till att den inte skulle kunna mätas i laboratoriet.”

Entropin är alltså klart definierad när man känner till beskrivningsnivån. Den är inte ett subjektivt begrepp i den meningen att varje iakttagare har sin egen entropi. Alla som intresserar sig for samma makro- och mikrotillstånd kommer att finna samma mått på entropin. Men det är ‘subjektivt’ i den meningen att det inte har någon innebörd förrän man klargör vad den frågande är intresserad av. Detta hindrar dock inte att entropi är ett mått på okunnighet, ett mått på den okunnighet som följer med en given grovkornighet.

“Men varför intresserar sig min bil för vad jag vet om världen?” undrade en fysiker i Santa Fe med ängslan i rösten när Jaynes utvecklade sin tankegång. Svaret är i själva verket enkelt: Därför att den är konstruerad av människor som du. Därför att bilmotorn är precis lika grovkornig som vi människor är när vi beskriver världen: vi förnimmer värme, men inte molekyler. Vår beskrivning av världen har tillkommit genom en förfining och fördjupning av den förnimmelsen. Därför går den igen i de maskiner vi konstruerar.

Som filosofen Paul Feyerabend sade om Boltzmann: “Med sin insikt om hur hypotetisk all vår kunskap är var Boltzmann långt före sin tid – kanske rentav före vår egen.”

År 1948 ställde ingenjören Claude Shannon en bra fråga: Vad kostar det att överföra meddelanden från ett ställe till ett annat? Szilard hade frågat vad det kostar att mäta; Shannon frågade vad det kostar att kommunicera. Och utgångspunkten var det bitbegrepp som härrörde från Szilards analys – en skillnad mellan två likadana tillstånd, ett ja/nej svar på en fråga.

Shannons analys blev banbrytande. Han grundlade med utgångspunkt i Szilards analys den moderna informationsteorin.

Vardagsspråkets informationsbegrepp har att göra med mening, men det som intresserade Claude Shannon var inte meningen. Det vara längden på telefonsamtal.

Claude Shannon var ingenjör på det amerikanska teleföretaget AT&T:s berömda forskningsenhet Bell Laboratories. Han studerade svårigheterna att överföra meddelanden i form av signaler. Det gällde att precisera vad som krävs för att överföra ett bestämt meddelande via en bestämd kanal – till exempel en telefon- eller telexledning.

Hur kan man mäta hur svårt det är att överföra ett meddelande? Shannon framkastade tanken att det är överraskningsvärdet som bestämmer svårigheten att kommunicera. Hur kan man mäta överraskningsvärdet hos en räcka bokstäver?

Vi vet att nästa tecken som kommer är en bokstav. Vi vet också att vårt alphabet innehåller 29 bokstäver (om vi räknar ‘v’ och ‘w’ som två). Graden av vår överraskning betingas därför av att varje tecken är 1 bokstav av 29. När vi ser den faktiska bokstaven överraskas vi av att det var just den bokstaven – och inte någon av de 28 andra.

Shannons teori kan formuleras så, att varje tecken är ett makrotillstånd som kan motsvaras av 29 olika mikrotillstånd, de enskilda bokstäverna. Varje tecken rymmer en överraskningsförmåga som uttrycks av förhållandet att den kan vara en av 29 möjligheter. När vi tar emot en bestämd bokstav har den alltså ett överraskningsvärde som betingas av att den utesluter 28 andra bokstäver.

Därmed blir det möjligt att uttrycka svårigheten att kommunicera med stor precision: ett tecken är ett makrotillstånd vars överraskningsvärde bestäms av hur många mikrotillstånd som svarar mot detta makrotillstånd.

Shannon tvekade mycket om vilket namn han skulle ge den nya storheten och övervägde att kalla den ‘obestämdhet’ eller ‘information’. Matematikern John von Neumann, som bland mycket annat är känd som upphovsman till den logiska strukturen i dagens datorer, försökte övertala Shannon att kalla överraskningsvärdet för ‘entropi’, eftersom likheten med termodynamikens begrepp var så slående. Och “dessutom får du ett stort övertag i diskussioner, för det är ändå ingen som riktigt vet vad entropi är”.

Slutet blev att Shannon valde att tala om ‘informationsentropi’, men eftersom ingen visste vad entropi var gick Shannons teori till historien som en teori om information. ‘Informationssamhället’ är alltså i själva verket ett entropisamhälle – ett samhälle av okunskap och oordning.

[…]

Med hjälp av detta exakta informationsbegrepp kunde Shannon härleda en rad formler som är till stor nytta när man skall upprätta teleförbindelser och beräkna erforderliga ledningsstorlekar. Huvudresultatet blev att man alltid kan överföra ett meddelande felfritt om man har tillräckligt mycket bandbredd. Bandbredden uttrycker en kommunikationskanals överföringsförmåga mätt i antalet bitar per sekund (bits/s).

[…]

Shannon visade att om bandbredden bara är större än meddelandets informationsinnehåll per tidsenhet, så kan man få fram sitt meddelande utan att någonting går förlorat. Och det kan förstås vara bra att veta om man lever på att sälja teletjänster till folk. Men det har inte nödvändigtvis något att göra med information i vardagsspråkets bemärkelse. Den sortens information är nämligen något med mening. Och alla vet ju att man kan föra mycket långa telefonsamtal utan att överföra särskilt mycket mening – eller skriva bra många ord utan att de ter sig meningsfulla.

Begreppet information var inte det centrala för Shannon. Han var faktiskt själv lite trött på ordet och underströk, att det han sysslade med var en teori om kommunikation, en teori om överföring av information, inte om informationens mening. En given mängd information kan innehålla djupa insikter eller rent nonsens. Likgiltigt vilket. Det kostar lika mycket på telefonräkningen.

Detta betyder dock inte att Shannons analys är rent nonsens. Det Shannon kallade information är nämligen precis lika verkligt och påtagligt som det Clausius kallade entropi. Det kostar faktiskt något att föra ett telefonsamtal. Det måste överföras ett antal signaler för att svärmor ska kunna pladdra. Men det har inte nödvändigtvis något med mening att göra. Information är ett mått på allt det hon kunde ha sagt. Inte på vad hon faktiskt säger. Informationsinnehållet är ett uttryck för den mängd kommunikationer som kunde ha utförts. Inte för vilken som faktiskt överfördes.

Liksom entropin vid en viss temperatur är ett uttryck för hur många olika sätt molekylerna kunde ha varit ordnade på utan att det hade gjort någon skillnad värd att hålla reda på, är informationen ett uttryck för hur många sätt bokstäverna kunde ha varit ordnade på utan att det hade behövts en annan kabel.

Men det är något underligt med Shannons informationsbegrepp. Det har uteslutit varje förställning om mening och handlar enbart om mening som kunde ha funnits men inte nödvändigtvis gör det. Jämfört med vår vardagliga föreställning om information är det ett mycket torftigt begrepp. I gengäld är det mycket precist – och man kunde ju acceptera en viss ihålighet i begreppet om det meförde en precisionsvinst.

Kruxet är bara att information inte alltid är något särskilt precist begrepp. Det är ett oerhört subjektivt begrepp. Det handlar om hur överraskad man kan bli av ett meddelande. Det säger att ett ‘a’ har ett visst överraskningsvärde till följd av att vi vet att det kunde ha varit 28 andra bokstäver.

Men om vi nu inte vet att det är fråga om en bokstav i ett alfabet med 29 bokstäver? Hur mycket information ger ett ‘a’ då? Om detta säger Shannons informationsbegrepp ingenting.

För att kunna definiera information måste man först definiera vilka som samtalar och i vilket sammanhang. För att kunna definiera Shannoninformation måste man först veta vilka gemensamma förutsättningar som avsändaren och mottagaren tyst utgår ifrån. Det är en märklig manöver som Shannon företar; först utesluter han allt tal om mening, och sedan definierar han information som något som beror av ett sammanhang som är så grundläggande att man över huvud taget inte talar om det.

Om man inte vet hur många mikrotillstånd som svarar mot varje makrotillstånd kan man över huvud taget inte tala om information. Det är alltså först när man har definierat mikro- och makrotillstånden som man kan veta hur stor informationen är. Precis som med entropi.

Information är mycket nära släkt med entropi. Ett givet makrotillstånds entropi mäts i antalet motsvarande mikrotillstånd. Ju flera de är, destå högre är entropin. Information är någonting man har när man vet vilket av mikrotillstånden det är fråga om.

Ett tecken i en svensk text har en entropi som betingas av att det kan vara en av 29 bokstäver. Information består i kunskapen om vilken av bokstäverna det är fråga om. Informationsvärdet av kunskapen om vilket mikrotillstånd det är är beroende av hur många mikrotillstånd det skulle kunna vara. Tecknet har en viss entropi och kunskapen om tecknets faktiska mikrotillstånd – vilken bokstav? – ger en viss information som svarar mot den entropi tecknet har.

Därför kan man varken definiera entropi eller information utan att känna till sammanhanget.

Detta har lett till många missförstånd. Inte minst därför att information är ett värdeladdat plusord, ett uttryck som man spontant förknippar med någonting gott. I årtionden har man identifierat information med ordning och entropi med oordning.

Tanken härrör från matematikern Norbert Wiener, den man som grundlade cybernetiken, teorin om styrmekanismer. I sin bok Cybernetics från 1948 gör Wiener gällande att han har upptäckt informationsteorin oberoende av Shannon (som publicerade den 1948). Några meningar längre fram förklarar Wiener att “liksom ett systems information är ett mått på dess grad av organisation, är ett systems entropi ett mått på dess grad av desorganisation”.

Det är ett synsätt som ligger mycket långt från Shannons. Eller rättare sagt: Wieners begrepp är motsatsen till Shannons. Men det fick stort inflytande, inte minst på studiet av Maxwells demon. Leon Brillouin vidarebefordrade entusiastiskt Wieners idé, som han sammanfattade i begreppet neg-entropi: information är negativ entropi, o-o-ordning, dvs ordning.

Det låter bestickande. Men det kan inte stämma. För att få det att stämma var Brillouin tvungen att ändra förtecken på Shannons informationsbegrepp. Årtiondens missförstånd bygger på detta teckenbyte. Shannoninformation är entropi: antal valmöjligheter, antal mikrotillstånd, obestämdhet. Brillouin ändrar helt enkelt förtecknet: Information är ordning. Alltså negativ entropi.

Uppfattningen att information är ordning ligger närmare vardagsbegreppet ‘information’ än Shannons begrepp med samma namn. Därför ter sig Wieners och Brillouins neg-entropibegrepp lockande. Problemet är bara att man inte kan fuska med förtecken i ekvationerna på det viset utan att hela vitsen går förlorad.

Som den danske fysikern Peder Voetman Christiansen har formulerat det: “Man trodde att man kunde komma åt meningen genom att byta förtecken på det meningslösa.” Wiener och Brillouin var för otåliga.

Entropi är ett mått på en mängd information som vi inte har något intresse av att känna till. Information är någonting som det finns mängder av i ett tillstånd som präglas av stor entropi. Därmed inte sagt att vi har denna information. Bara att den finns där, att vi skulle kunna få den om vi ville.

Information är någonting som finns i oordning. Det finns mer information i oordning än i ordning. Ju mer oordning, desto mer information. Ju flera mikrotillstånd, desto mer information. Ju flera mikrotillstånd som sammanfattas i makrotillståndet, desto mer information har vi gjort oss av med när vi enbart tänker på makrotillståndet. Makrotillståndet värme representerar ett otroligt stort antal mikrotillstånd som vi inte känner till när vi bara talar om temperaturen. Oordning är svårt att beskriva. Särskilt i detalj.

Den amerikanske fysikern Richard Feynman uttrycker det så här: “vi mäter ‘oordning’ med antalet möjligheter att arrangera ett systems inre utan att dess yttre förändras.”

Entropi är ett mått på den mängd information vi har gjort oss av med när vi betraktar ett system utifrån: när vi betraktar rörelsen av en gas som en temperatur eller en räcka bokstäver som ett antal tecken. Befinner vi oss inne i systemet kan vi skaffa oss denna information (om vi orkar). Befinner vi oss utanför systemet har vi gjort oss av med den – eller helt enkelt aldrig haft den.

Information är ett uttryck för skillnaden mellan att vara innanför och utanför: molekyler/temperatur, teckenmängd/meddelande. Information och entropi säger något om skillnaden mellan att beskriva och hantera ett system inifrån eller utifrån. Om vi betraktar gasen utifrån, från vår beskrivningsnivå, där det intressanta är värmen, kan vi sammanfatta förhållandena i en kortfattad och överordnad beskrivning: makrotillståndet värme mätt som temperatur. Om vi betraktar gasen från ‘dess’ beskrivningsnivå, där alltihop består av kringfarande molekyler, måste vi räkna upp enorma mängder bitar som beskriver enorma mängder enskilda tillstånd: mikrotillstånd av molekylarrörelser mätta som hastigheter.

Om vi betraktar gasen utifrån kan vi utvinna en viss mängd energi ur värmen, förutsatt att vi rättar oss efter termodynamikens andra huvudsats, som handlar om gaser som beskrivs utifrån. Om vi betraktar gasen inifrån kan vi utvinna mycket mer energi ur dess molekylarrörelser. Bara vi kan göra oss av med all information vi har samlat på oss!

Så länge vi befinner oss utanför kan vi strunta blankt i informationen inuti gasen. Men då måste vi följa den andra huvudsatsen och kalla denna information för entropi.

Om vi vill göra energin i den kaotiska värmerörelsen tillgänglig måste vi lära känna alla de mikrotillstånd av molekylarrörelser som vi bortser från när vi bara säger att värmen innebär en viss entropi. Vi måste skaffa oss information om vartenda ett av dessa många mikrotillstånd. Men då råkar vi i knipa: då måste vi ödsla kraft på att antingen hålla reda på all informationen eller glömma alltihop igen. Och det kostar för mycket i det långa loppet.

Maxwells demon vill beskriva gasen inifrån och utifrån på samma gång. Den vill både veta var molekylerna befinner sig och samtidigt utnyttja värmen. Men det kan man inte, inte ens om man är en demon.

/////// End of quote from Nørretranders (1993)

/////// Quoting Nørretranders (1993, p. 153):

Vardagsspråkets information påminner mer om exformation än om Shannons informationsbegrepp. Det ligger mycken visdom i vardagsspråket. Det vi över huvud taget anser värt att tala om är just saker och förhållanden som präglas av en frånvaro av information, en organisation, ordning eller enkelhet som visar sig i stabilitet i tiden. Det som innehåller mest information orkar vi inte tala om, det är ju bara en enda röra.

När man tar hänsyn till människors förmåga att förstå – att sammanfatta erfarenheter i korta beskrivningar – är det klart att det intressanta är det som kan beskrivas med mycket litet information: en myrstack är intressantare än en massa nedfallna granbarr på marken – men bägge består av samma sak, och informationsinnehållet är faktiskt störst i de lösa granbarren.

Information är ett mått på oordningen eller slumpmässigheten i de meddelanden vi använder för att berätta för varandra om saker som inte präglas av oordning och slumpmässighet. Ett meddelande innehåller information därför att det inte är förutsägbart. Ett meddelande är intressant därför att det handlar om någonting som i viss utsträckning är förutsägbart.

Vardagsspråkets informationsbegrepp avspeglar detta förhållande – det är just därför det är så mångtydigt. Det handlar i realiteten mer om exformation än om information. Det vi menar när vi till vardags säger information är närmast exformation. Men inte enbart.

Vi skall därför försöka åskådliggöra kommunikation mellan människor med en modell som både beskriver informationsöverföringen och den produktion av exformation som sker före överföringen. På så vis kan vi kanske komma till rätta med motsägelsen i vårt vardagliga informationsbegrepp.

Vi kombinerar träd och rör till en liten teckning baserad på standardbegrepp från den matematiska informationsteorin men specialutformad för att åskådliggöra vad vi menar med exformation. Ett sådant schema över hur människor talar med varandra ska vi kalla för ett talträd.

////// Klipp in bild (sid 155) här

Först måste personen till vänster tänka efter. Sammanfatta en erfarenhet, en känsla eller ett minne. En mängd information gallras bort, på motsvarande sätt som vid en beräkning. (Det finns inget annat samband med beräkning än att information gallras bort – produktion av exformation är alltså inte liktydig med beräkning). När själstillståndet har sammanfattats genom bortgallring av en mängd information återstår det några ord som kan sägas. De överförs genom kommunikationskanalen. Där sker ingen bortgallring. I den andra änden tas orden emot. Och ‘vecklas ut’ till mening.

Rörelsen går alltså från den vänstra trädkronan ned till roten, genom den gemensamma marken och upp i trädet till höger. Till vänster sammanfattas en mängd information genom bortgallring av information, produktion av exformation. Tankar sammanfattas i ord. Vi kan kalla det incitation. Till höger mottas den begränsade information som finns i orden och vecklas ut till mer information. Denna andra process kan vi kalla excitation.

En stor mängd information har genom produktion av exformation sammanfattats i en liten mängd information som överförs. Informationen har ett djup därför att det har producerats exformation på vägen.

I den andra änden vecklas informationen ut igen. Mottagaren tänker på hästar han har sett i sitt liv, associerar till upplevelser, tankar, minnnen, drömmar, känslor. Det sker en excitation. En smula information har överförts och framkallat en massa föreställningar om hästar hos mottagaren. Incitation, kommunikation, excitation. Gallring, överföring, association.

/////// End of quote from (Nørretranders, 1993)

/////// Quoting Nørretranders (1993, p. 522):

Men det mest grundläggande problemet är kanske att människan inte kan genomskåda sig själv och därför inte kan formulera sina behov via språkets låga bandbredd.

Informationssamhället står för dörren och lovar att lindra många av de plågor kapitalismen har vållat människorna: usla arbetsförhållanden, förstörd hälsa och ödelagd miljö.

Men informationssamhället hotar med en annan fara: bristen på information. För precis som det finns alltför litet information i en rätlinjig stad finns det alltför litet information i informationssamhället. Det är ett samhälle där de flesta människors arbete helt och hållet försiggår via språkets låga bandbredd.

Många klagar redan över att informationssamhället överöser dem med för mycket information. Men verkligheten är den motsatta: människor som har kapacitet att menigsfullt bearbeta miljontals bitar i sekunden hanterar nu bara några få bitar via sin dataskärm. Den materiella hanteringens sinnlighet har helt försvunnit ur arbetsprocessen, och medvetandet får livnära sig på några få bitar i sekunden. Det är som snabbmat: nästan ingenting att smälta, inga ben och fibrer att göra sig av med på vägen efteråt.

Forna tiders hantverkare hade en oerhört stor tyst kunskap om material och tillverkningsmetoder; deras nutida efterföljare presenteras för färdiga tekniska lösningar på en dataskärm.

Datorns enorma förmåga att hantera information har gjort det möjligt för forskarna att studera komplexa fenomen. Men datorn ger också mycket litet information till sina användare: den använder huvudsakligen språkets bandbredd i sitt användargränssnitt.

Om informationssamhället kan te sig påfrestande beror det inte på att det rymmer för mycket information, utan på att det rymmer för litet. Informationssamhällets människa måste exitera väldiga mängder exformation för att kunna sköta sitt arbete. Det gäller att “läsa in mening” i några tal på en dataskärm. Arbetsprocessen innehåller inte längre ett överflöd av detaljer och sinnlighet, utan bara en torr och torftig minimikost av information, som måste ‘iklädas’ exformation för att bli meningsfull.

Samhällets problem är på väg att bli bristen på sinnlighet och informationsströmmens rop på mening. Människan har flyttat ned på en lägre bandbredd och börjat vantrivas.

Det långsiktiga problemet är att ingen längre färdas i den verkliga terrängen utan bara sitter och stakar ut vägar på en karta. Den rätlinjiga civilisationen hotar att förvandla människan till en robot, som bara på fritiden vet att hon är materiell, att hennes jag är förankrat i ett mig, att hennes huvud sitter på en kropp.

Medvetandet är på väg att ta makten over människan; den räta linjen segrar over den oräta och mängden information i livet blir för liten. Simuleringen av världen ersätter världen; informationen gallras bort och livet blir ett anstängande försök att ta sig “högt upp i trädet” på basis av en smula information från en tv-skärm.

Politik kommer i stigande grad att handla om krav på någonting att uppleva, något mer än bara kläder, mat och bostäder.

/////// End of quote from (Nørretranders, 1993)

////// Relate the title of Shannon’s seminal paper (A mathematical theory of communication) to human information and introduce Hofkirchner’s UTI. //////

Leave a Reply