The Art of Statistics

Nga pemët te vrasësit: Përshkrimi i botës me numra

Shkenca e statistikave na lejon të transformojmë botën me të dhëna, numra dhe informacione që janë të lehta për tu kuptuar dhe komunikuar. Me fjalë të tjera, na ndihmon të formojmë gjykime më të mira për realitetin.

Merrni, për shembull, historinë e Harold Shipman, një mjek anglez i cili vrau 245 pacientë të moshuar në vitet 1975 – 1998.

Qasja statistikore e Shipman ndaj historisë, transformon një listë të gjatë të tragjedive personale, në fakte dhe numra që mund të mblidhen dhe të grafikohen.

Nëpërmjet grafikëve është e lehtë të kuptosh shumë gjëra në një vështrim: për shembull, që Shipman vrau më shumë gra sesa burra, që mosha e tyre ishte midis 70 dhe 90, që viktimat pothuajse gjithmonë vdisnin në orët e para të pasdites: mjeku vrasës shkonte te pacientët e tij menjëherë pas orës së drekës, kur kishte më shumë të ngjarë t’i gjente vetëm.

Mund t’i përdorim të dhënat për të hedhur dritë në botën tonë, por nevojitet kujdes dhe saktësi për të marrë një pamje të besueshme. Për shembull, për t’iu përgjigjur pyetjes “Sa pemë ka në planet?” së pari duhet të përcaktojmë se çfarë është një pemë. Sipas Shërbimit Pyjor të SH.B.A.-së, për të pasur një pemë, një bimë duhet të ketë nje diametër të paktën 12.7 centimetra.

Duke mos qenë në gjendje të shkojmë nëpër botë per të matur diametrat, duhet të përdorim një qasje më pragmatike. Marrim një seri zonash me një peizazh të përbashkët, të njohur si biomë, dhe numërojmë numrin mesatar të pemëve për kilometër katror që gjejmë në secilën prej tyre. Pastaj, mund të përdorim imazhe satelitore për të vlerësuar sipërfaqen totale të mbuluar nga bimët për secilin lloj të ndryshëm të biomës, dhe falë disa modeleve të ndërlikuar statistikorë arrijmë në vlerësimin se kemi 3.04 trilionë pemë, pra 3040 e ndjekur nga 9 zero pemë në planet.

Një numër vërtet i madh, i cili mund të bëhet dy herë më i madh. Autoritetet e tjera thonë se një diametër prej 10 centimetra është i mjaftueshëm për të qenë një pemë. E gjitha varet nga përkufizimi fillestar.

Nëse është kaq e ngatërruar kur bëhet fjalë për diçka fizike si pemët, mendoni se sa lehtë është të gabosh kur tema e studimit është më e gjerë. Përkufizimi i të papunëve në Angli ndryshoi 31 herë midis viteve 1979 – 1996, si pasojë e termave të variablave të studimeve statistikore.

Deri edhe përcaktimi nëse një person është i gjallë apo i vdekur mund të jetë i vështirë. Secili prej shteteve amerikane është autonom në përkufizimin e vdekjes.

Megjithëse në vitin 1981 u prezantua një dokument në nivel federal, i quajtur “Certifikata e Unifikuar e Vdekjes”, i cili përcakton standardet e përbashkëta për raportimin, është ende e mundur që dikush i shpallur i vdekur në Alabama të mos të jetë në Florida, ku akti i regjistruar në Alabama quhet i paligjshëm sepse vdekja në Florida duhet të vërtetohet nga dy mjekë të ndryshëm.

Statistikat janë një shkencë e drejtuar nga pyetjet

Njerëzit gjithmonë kanë numëruar dhe matur gjërat, por lindja e statistikave moderne mund të përkojë me punën e Blaise Pascal dhe Pierre de Fermat, rreth vitit 1650.

Në shekullin XX, statistika u lidh gjithnjë e më shumë me matematikën dhe për fat të keq për shumë njerëz qe thjesht një aplikim mekanik i mjeteve statistikore. Në epokën e shkencës së të dhënave, kjo mënyrë e të parit të statistikës, sikur të ishte një kuti mjetesh, po vërtetohet se është joefikase. Të dhënat janë komplekse dhe vijnë nga burime të ndryshme. Për më tepër, përdoren për të prodhuar risi teknologjike, kështu që duhet të jemi edhe më të vetëdijshëm për vlerën e rezultateve të prodhuara.

Është e nevojshme të miratohet një qasje e drejtuar nga problemi, në të cilën aplikimi i mjeteve specifike statistikore është vetëm një përbërës i hetimit. Hapi i parë është specifikimi i saktë i problemit që do të hetohet. Sondazhet statistikore duhet të fillojnë gjithmonë me një pyetje. Në nxitimin për të filluar me analizën e të dhënave, nuk duhet të lëmë pas dore planifikimin e studimit.

Cikli i virtytshëm fillon me përcaktimin e problemit (pyetja) pastaj kalohet në planifikim. Çfarë dhe si duhet të matim? Pasi të jetë përcaktuar edhe kjo pikë, mund të vazhdohet me mbledhjen dhe menaxhimin efektiv të informacionit. Pastaj, kryhet analiza, duke organizuar dhe ndërtuar tabela, grafikë, duke identifikuar modele të përsëritura dhe duke formuluar hipoteza. Në fund, përfundimi arrihet me interpretimin dhe komunikimin e gjetjeve.

Ky proces u ndoq në vitin 1998 nga një ekip statistësh të cilët morën pjesë në një hetim në spitalin e Bristolit, shkak për të cilin u bë vdekja e disa fëmijëve gjatë operacioneve të zemrës. Hetimi duhet të përcaktonte se çfarë ndodhi me fëmijët që kishin kryer ndërhyrje në zemër midis viteve 1984 – 1995 në atë spital. Duket një pyetje e qartë, por nuk është. Duhej të përcaktohej se çfarë nënkuptohej me “fëmijë”, me “operacion të zemrës”, në cilat raste vdekja i atribuohej pasojave të këtij operacioni. 

Kriteret e vendosura ishin:

• Fëmija: nën 16 vjeç





• Ndërhyrja: kirurgji e hapur në të cilën zemra ndalet dhe funksioni i saj zëvendësohet me një bajpas kardiopulmonar





• Lidhja e shkakut me vdekjen: brenda 30 ditëve nga operacioni





• Dy burime të dhënash: HES (Hospital Episode Statistics) dhe CSR (Cardiac Surgery Registry)

Rezultati i studimit është dramatik. Bristol kishte 62 vdekje kundrejt një mesatareje kombëtare prej 32. Dy kirurgë dhe ish-drejtori i spitalit u akuzuan për neglizhencë të rëndë.

A mund t’i besojmë ‘’mençurisë së turmës’’ kur bëhet fjalë për numrat?

Në 1907 Francis Galton, shkencëtar, kushëri i Charles Darwin dhe krijues, ndër të tjera, i sistemit të identifikimit përmes gjurmëve të gishtave, i shkroi një letër një reviste në të cilën rrëfeu këtë përvojë, të cilën ai e përcaktoi si ‘’Vox Populi’’, mençuria e turmës. Në panairin e Portit ai kishte parë që mund të hynte në një lotari për të gjetur peshën e mishit të marrë nga therja e një kau. Njerëzit paguanin 6 pence dhe shkruanin bastin e tyre në një biletë.

Duke marrë 787 vota, Galton gjeti vlerën mesatare të 547 kilogramëve dhe zbuloi se ky rezultat ishte jashtëzakonisht afër 543 kilogramëve të rezultatit zyrtar të therjes.

Ai e quajti këtë vendimmarrje “mençuria e turmës”. Galton bëri atë që sot mund ta quajmë një përmbledhje të të dhënave. Mori një masë numrash dhe i zvogëloi ata vetëm në një. Ky proces mund të jepet vizualisht në shumë mënyra dhe nuk ka vetëm një të drejtë, sepse secila ofron avantazhet e veta. ‘Strip-chart’ (grafika e pikave) tregon pikët individuale, ‘box and whisker’ (kutija me vlera) është metoda e dobishme për të sjellë përmbledhje të shpejta për t’u interpretuar, histogramet japin një përkufizim të mirë të shpërndarjes.

Kohë pas kohe, duhet të zgjedhim formatin më të përshtatshëm grafik, jo vetëm për të dhënat, por për informacionin që duam të transmetojmë, rezultatin e sondazhit që duhet të përçohet.

Mesatarja, mesorja dhe moda, tre mënyrat për të treguar vlerën mesatare

Ekzistojnë në thelb 3 mënyra për të treguar vlerën mesatare:

• Mesatarja: shuma e të gjithë numrave pjesëtuar me numrin e rasteve





• Mesorja: vlera mesatare e një serie numrash të renditur në rend ngjitës ose zbritës





• Moda – vlera më e zakonshme

Dihet dhe shpesh është objekt shakaje (nëse kemi një pulë dhe jemi dy veta, kemi ngrënë mesatarisht gjysmën secili, edhe nëse ti je i poshër dhe unë mbeta me gisht në gojë) që mesatarja aritmetike nuk është një tregues i saktë. Gjithashtu për këtë arsye është e nevojshme të jemi shumë preciz në specifikimin nëse një vlerë është mesatare apo mesore.

Një vlerë tjetër e rëndësishme është përhapja e shpërndarjes së të dhënave. Shpesh nuk mjafton sjellja e informacionit përmbledhës, rezultateve të thata, por është më e vlefshme të tregosh ndryshueshmërinë, shpërndarjen. Për shembull, njohja e madhësisë mesatare të këpucëve të një mashkulli të rritur nuk e ndihmon një kompani këpucësh të përcaktojë sasitë e këpucëve që duhen prodhuar në masa të ndryshme, por duhet një pamje e shpërndarjes së përqindjes së masave.

Teknika për kryerjen e sondazheve të besueshme

Sa partnerë seksualë kanë britanikët gjatë jetës së tyre? Nuk është pyetje mbi jetën private, por një nevojë që erdhi me rrezikun e AIDS në vitet 1980. Nuk kishte të dhëna të kohëve të fundit në dispozicion që mund të prodhonin informacione mbi jetën seksuale të popullatës, mbi atë se sa shpesh ndryshonin partnerë, mbi sa kishin partnerë të shumtë në të njëjtën kohë dhe mbi aktivitetet seksuale në përgjithësi.

Të gjitha informacionet ishin të vlefshme për të parashikuar përhapjen e sëmundjes dhe për të planifikuar veprimin publik. Kështu që një aktivitet i madh dhe i kushtueshëm i sondazhit filloi në Shtetet e Bashkuara dhe Britaninë e Madhe qysh në vitet 1990.

Kur u pyetën për numrin e partnerëve që kishin deri në atë moment, rezultati më i zakonshëm, i quajtur “modë”, ishte i barabartë me 1. Padyshim, shpërndarja e të dhënave tregon një bisht të gjatë në të djathtë, dmth mbi mesataren. Përgjigjet e burrave dhe grave janë të ndryshme dhe tregojnë:

burrat 35-44                       gratë 35-44

mesatarisht                 14,3                                8,5

mesorja          8                                      5

moda                       1                                      1

Këto të dhëna duhet të na bëjnë të dyshojmë menjëherë në vërtetësinë e tyre: në një bazë të popullsisë që ka pak a shumë njësoj burra dhe gra me profile të ngjashme moshe, numri i partnerëve seksualë duhet të jetë i njëjtë! Po çfarë po ndodh? Burrat kanë partnerë seksualë në një moshë më të re, kështu që mostra femërore 35-44 mund të lërë një pjesë të situatës, por mbi të gjitha është kultura që vepron, kështu që burrat priren të gënjejnë duke rritur numrin e partnerëve ndërsa gratë, përkundrazi, i ulin ato.

Megjithatë, kjo nuk është gjëja më e rëndësishme për ata që kryen sondazhin. Qëllimi është të gjejnë një mënyrë për të ditur diçka në lidhje me sjelljen seksuale të atyre që nuk janë intervistuar. Procesi që çon nga të dhënat e mbledhura në njohjen efektive të sjelljes së një popullsie të tërë është kompleks dhe kalon nëpër faza të ndryshme kritike, sepse është e nevojshme të bëhen përgjithësime duke filluar nga të dhëna specifike.

Kjo na bën të ballafaqohemi me idenë e konkluzionit induktiv. Nxirren përfundime që janë përgjithësim i shembujve të veçantë. Është një procedurë e cila, duke u nisur nga raste të veçanta, përpiqet të vendosë një ligj universal. Metoda deduktive, përkundrazi, fillon nga e përgjithshmja për të arritur tek e veçanta.

Kalimi nga të dhënat në mostër padyshim, kërkon që të dhënat të jenë të vlefshme. Si u bënë pyetjet? Një sondazh i kryer nga Ryanair në 2017 mbeti famëkeq. Rezultati tha që 92% e udhëtarëve ishin të kënaqur me përvojën e fluturimit. Sa keq që përgjigjet e mundshme në pyetësor ishin: të shkëlqyera, shumë të mira, të mira, ok.

George Gallup, i konsideruar shpikësi i sondazhit të opinionit në 1930, tha: “Nëse po gatuani një tenxhere me supë, nuk keni nevojë ta hani të gjithën për të ditur nëse nuk ka kripë. Mund të shijoni një lugë, duke kontrolluar që keni dhënë një trazim të mirë. Gjithçka qendron tek trazimi i mirë’’.

Në vitin 1969, kur erdhi puna për të vendosur burrat që do të dërgoheshin në Vietnam në një listë të renditur, ditët e vitit ishin tërhequr për ta renditur listën në mënyrë të drejtë. Megjithatë, kapsulat që përmbajnë kartat e muajit nuk u trazuan dhe siç tregon një video, për arsye se personi i ngarkuar për nxjerrjen po peshkonte nga sipërfaqja, burrat e lindur në dhjetor, kapsulat e ditëlindjes së të cilëve ishin vendosur në vazo për të fundit përfunduan në disavantazh. Në krye të listës përfunduan 26 data në muajin dhjetor përkundrejt 14 në muajin janar.”

Për ta zgjeruar, përgjithësuar informacionin nga kampioni te popullata, duhet të jeni i sigurt që mostra është përfaqësuese.

Vendet skandinave janë një parajsë për epidemiologët. Njerëzit kanë një numër identiteti të përbashkët për gjithçka që lidhet me marrëdhëniet me shtetin, kështu që të gjitha informacionet në lidhje me shëndetin e tyre, arsimin dhe taksat e tyre janë të lidhura ngushtë dhe lejojnë të bëhen analiza që duken të pamundura në krahasim me ato të qytetarëve të vendeve të tjera.

Për shembull, u krye një studim i 18 milion suedezëve, të dhënat e taksave dhe shëndetit të të cilëve ishin të lidhura. Ky zbuloi se burrat me status më të mirë socio-ekonomik kanë më shumë gjasa që të diagnostikohen me kancer të trurit. Kjo u shfaq në tituj në gazeta, por në të vërtetë, me një inspektim më të thelluar doli se burrat me status më të mirë socio-ekonomik kishin më shumë kujdes për shëndetin e tyre, kështu që kanceret  zbuloheshin dhe më tej regjistroheshin.

Paragjykimi i ndërgjegjësimit është një paragjykim sistematik në matjen e frekuencës së vërtetë të një fenomeni për shkak të mënyrës së mbledhjes së të dhënave.

Korrelacioni nënkupton shumë të dhëna krejtësisht të pavarura priren të ndryshojnë së bashku, madje ekziston një faqe në internet humoristike që luan duke përputhur rritjen e konsumit të mozarelës me numrin e studentëve të diplomuar për inxhinieri në Shtetet e Bashkuara.

Apofenia përcaktohet si njohja e modeleve ose lidhjeve në të dhëna të rastësishme ose të pakuptimta. Termi u shpik në 1958 nga Klaus Conrad, i cili e përcaktoi atë si një “vizion të pamotivuar të lidhjeve” i shoqëruar nga një “rëndësi anormale”.

Mekanizmi i kauzalitetit është vështirë të përcaktohet statistikisht, pasi është e nevojshme të organizohen eksperimente shumë të organizuara (të rastësishme) nga pikëpamja e zgjedhjes së mostrës, të mostrave të kontrollit, të strukturës. Sidomos kur bëhet fjalë për hetime mjekësore, parimi i “punës në errësirë” është thelbësor, dmth me subjekte që nuk janë të vetëdijshme për qëllimin e hetimit. Është e rëndësishme të vëzhgohen marrëdhëniet midis ekspozimit dhe rezultatit për të verifikuar ekzistencën e bashkë faktorëve që mund të shtrembërojnë këto të fundit.

Të bësh ‘’storytelling’’ me statistika

Ekzistojnë katër karakteristika që duhen mbajtur parasysh për një pamje të mirë të të dhënave:

• Përmbajnë informacion të besueshëm





• Dizajni zgjidhet në mënyrë të tillë që ta bëjë skemën përkatëse shumë të qartë





• Paraqitet në një mënyrë të këndshme, por pamja nuk e shtrembëron perceptimin dhe për këtë arsye qartësia dhe thellësia nuk kompromentohen





• Kurdoherë që është e mundur, është e organizuar në një mënyrë të tillë që të bëjë disa eksplorime të menjëhershme, domethënë e lejon shikuesin të ndërveprojë me të dhënat duke nisur arsyetimin

Cili është trendi, tendenca e përhapjes së emrit David në Angli? Nëse e shohim më vete, nuk e kemi të vështirë të dallojmë se nis nga pozicioni i tridhjetë në fillim të viteve 1900, bëhet emri më i popullarizuar në 1953, pastaj bie dhe fillon të rritet përsëri kohët e fundit për shkak të efektit David Beckham.

Nëse, nga ana tjetër, përpiqemi të ndjekim përhapjen e tij duke konsideruar në të njëjtin grafik të gjithë emrat meshkuj të përdorur gjatë 100 viteve të fundit, padyshim që do të kemi një grafik kaq kompleks sa është e pamundur të lexohet. Kurdoherë që segmentojmë shumë të dhënat, përdorim një shkallë tepër “të detajuar” ose fusim shumë variabla, rrezikojmë të marrim një pamje të palexueshme.

Si ndërtohen algoritmet: Një eksperiment i bazuar në fundosjen e Titanikut

Është e mundur dhe madje e dobishme të mbështetemi në të dhëna nga e kaluara për të krijuar një algoritëm, i cili është është një formulë mekanike, i aftë të prodhojë automatikisht një përgjigje për secilin rast të ri që do të vijë, pa kërkuar ndërhyrjen njerëzore.

Ekzistojnë dy detyra të rezervuara për këto lloj algoritmash:

• Klasifikimi: për shembull, identifikimi i pëlqimeve/mospëlqimeve të një përdoruesi në internet





• Parashikimi: na tregoni se çfarë do të ndodhë, për shembull, motin e parashikuar për fundjavën

Krijimi dhe përdorimi i këtyre algoritmeve quhet gjithashtu analiza parashikuese dhe është thelbësore në fushën e inteligjencës artificiale, në të cilën algoritmet e futura në makineri i lejojnë të kryejnë aktivitete të rezervuara deri më tani për njerëzit, siç janë makinat që drejtojnë vetveten.

A mund të krijojmë një algoritëm që mund të parashikojë se cilët pasagjerë mund të mbijetojnë nga një fundosje e re e Titanikut?

Natën e 14-15 Prillit 1912, Titaniku u fundos në udhëtimin e saj të parë. Rreth 700 nga më shumë se 2200 persona në bord arritën të shpëtonin dhe studimet e kryera u përqëndruan në faktin se shanset për të mbijetuar në atë ngjarje ishin të lidhura me mundësinë për të hipur në një varkë shpëtimi, kështu që ata vareshin nga klasa të biletës.

Një algoritëm për të kuptuar nëse kjo është e vërtetë mund të duket i padobishëm, duke  qenë se ngjarja nuk ka mundësi të përsëritet, por unë e zhvillova atë sepse kam lindur dhe jam rritur në Ilfracombe, në veri të Devon, nga ku Francis William Somerton u largua me Titanikun për në Amerikë në kërkim të fatit, me një biletë 8 paund të klasës së tretë.

Ky është më shumë një klasifikim sesa një parashikim, pasi ngjarja tashmë ka ndodhur. Merren të gjitha të dhënat që kemi në dispozicion, ato të 1309 pasagjerëve: emri, titulli, gjinia, mosha, klasa e udhëtimit, çmimi i biletës, pavarësisht nëse ata ishin apo jo pjesë e një familjeje, ku hipën, për ata që është e mundur deri edhe numri i kabinës. Pastaj vendoset ndryshorja: 1 i/e mbijetuar, 0 i/e vdekur. Një grup prej 897 rastesh do të përbëjë grupin eksperimentues, 412 të tjerët do të jenë grupi i provës.

Rezultati është i qartë: kemi një përqindje më të lartë të të mbijetuarve pasagjerë që përputhen me këto karakteristika:

• Udhëtojnë në klasin e parë





• Janë gra apo fëmijë





• I përkasin një familjeje të vogël (3/4 persona)





• Kanë paguar shumë për biletën e tyre





• Mbajnë titullin Zonjë, Zonjushë, Mjeshtër (Shef).

Mund ta analizojmë lehtë rezultatin e analizës sonë duke ndërtuar një klasifikim të pemëve, i cili është forma më e thjeshtë e algoritmit. Ky klasifikim përbëhet nga një seri pyetjesh me përgjigje të mbyllura, të llojit po ose jo. Bazuar në përgjigjen e dhënë, kemi ardhur në një pyetje tjetër. Duke lexuar përsëri të dhënat kemi që Francis, i nisur me titullin Lord, hyn në një “degë” të klasifikimit që çon në të dhënat e mbijetesës 16.

Algoritmi ynë i thjeshtë identifikon 2 grupe me më shumë se 50% shanse për të mbijetuar:

• Gra dhe fëmijë në klasin e parë dhe të dytë, 93% mundësi për të mbijetuar;





• Gra dhe fëmijë që u përkasin familjeve të mëdha, në klasin e tretë: 60% mbijetesë.

Duke zbatuar rregullat në grupin e kontrollit, besueshmëria e algoritmit testohet lehtë.

Dallimi midis koncepteve të probabilitetit dhe mundësisë

Nëse rrotulloni një monedhë dy herë, sa gjasa ka të keni 2 koka? Jo të gjithë e dinë përgjigjen e kësaj pyetjeje. Bëhet fjalë për të ditur se si të llogaritet probabiliteti dhe për të kujtuar që në secilën hedhje shansi është 1 në 2, kështu që në dy rrotulla bëhet 1 nga 4. Probabiliteti nuk ka memorje. Frekuenca e pritur e kësaj ngjarjeje është 1 në 4.

Matja e probabilitetit është e komplikuar, ne nuk kemi një instrument si një shkallë ose një metër. Pyetja e parë për tu bërë është: “Çfarë do të thotë probabilitet?”
Ekzistojnë dy lloje:

• Klasik: numri i ngjarjeve të favorshme të ngjarjes, i ndarë nga numri i përgjithshëm i ngjarjeve të mundshme. Për shembull, sa shanse ka që të dalë një 6 duke hedhur një zar? 1 në 6.





• Numërues: ne kemi 3 çorape të bardha dhe 4 të zeza në një sirtar, cilat janë shanset që të nxirret një çorape e bardhë? 3 nga 7.

Gjëja më interesante është probabiliteti i frekuencës gjatë përsëritjes së gjatë. Çfarë ndodh me probabilitetin nëse e kryejmë ngjarjen shumë herë? Faktorë të tillë si prirja ose mundësitë duhet të merren parasysh. Ka me të vërtetë tendenca të situatës për të prodhuar një ngjarje të caktuar, por nuk ka ndonjë bazë të caktuar për vlerësimin e kësaj prirjeje. E rëndësishme është të mbahet mend gjithmonë që statistikat bazohen në të dhëna dhe se të dhënat duhet të mblidhen me kujdes. Statistikat e “dobëta” përdoren dhe dëmtojnë besueshmërinë e gjithë kësaj shkence, prandaj është thelbësore t’i përmbahemi praktikave të mira.