De fikk det galt - igjen. Til tross for de fleste meningsmålinger og prognoser som sier at Hilary Clinton ville slå Donald Trump i USAs presidentvalg, skjedde det motsatte. Selvfølgelig kan du hevde at meningsmålingene var dårlige: meningsmålinger kalt et tett løp med Clinton som skygger det, og det var akkurat det som skjedde - Clinton vant populærstemmen, men Trump droppet henne i form av valgstemmer.

Men dyptgående meningsmålinger ble også gjort state-by-state, ikke minst av folkeguru Nate Silver ved FiveThirtyEight, som beregnet at Trump hadde en 29% sjanse til å vinne. Konservative velgere ble enormt undervurdert, men hvordan?

Så lurte "triste" Trump-velgere til pollstere? Er prognoser basert på feil data? Og kan ny teknologi - noe av det fra en shell-sjokkert Silicon Valley - hjelpe puste nytt liv til en bransje som nå er i alvorlig fare for å bli diskreditert?

Pollsters bruker spørreskjemaer, demografi og algoritmer (Image Credit: Wikimedia)

Hvordan fungerer opinionsundersøkelser?

Meningsmålinger handler om ekstrapolerende trender fra en relativt liten dataeksempel. Meningsmåleren spør folk hvordan de skal stemme, eller hvordan de bare stemmer, og algoritmer blir brukt for å skape et demografisk balansert nasjonalt bilde.

I et land på 231 millioner potensielle velgere - selv om rundt 100 millioner stemmer ikke, vil det alltid være basert på forutsetninger som på faktiske data. Nøkkelen til dette er valgdeltakelsen, som er svært vanskelig å forutsi; Det er bare ingen data på det før etter valgdagen.

"Utfordringen med å foreta forutsigelser fra data er å sørge for at dataene er representative," sier Matt Jones, analytiker hos datakonsulent Tessella. "Tradisjonell statistisk analyse av avstemningsdata og undersøkelser vil bare være representativ for de som plaget å delta, og den delen av den stemmeberettigede befolkningen er ikke representativ."

Meningsmålinger er gitt stor gravitasjon av media i den utstrekning at de kan være avgjørende for om folk plager å stemme eller ikke - så de kan svinge et valg.

Må pollestere bruke sosiale medier?

Begrensede data

Maskininnlæring er allerede brukt når du kjører valgspådommer. Det er en del av standard statistisk analyse. "Som for enhver statistisk analyse er den enkleste kritiske faktoren mengden data tilgjengelig for å kjøre algoritmer, basere dine spådommer," sier Claus Jepson, Chief Architect på Unit4. "Fra og med i dag er datasettet som er tilgjengelig, ganske enkelt for begrenset til å gi presise spådommer, noe som gjør det nødvendig å inkludere menneskelige fortolkninger - dermed gjør prognosene partisk.”

For eksempel bestemmer meningsmålere hvor mye statistisk vekt som skal gi til hvor mange historiske valgresultat. “På et eller annet tidspunkt vil de tilgjengelige dataene være store nok til at algoritmer effektivt kan forutsi, mindre partisk, utfall basert på meningsmålinger, mener Jepson.

Sosial media og sentimentanalyse

Noen av de "nye" dataene er fra sosiale medier, som ser ut til å bli et friskt verktøy for meningsmålinger som ser etter å spore skiftende meninger. "Bruk av" sosial lytting "av sosiale medier og samtaler og oppførsel kan ha vært en tidlig advarsel om mulige motsetninger fra offisielle meningsmålinger, sier Mark Skilton, professor i praksis i informasjonssystemer og ledelseskonsern ved Warwick Business School.

Dette er vitenskapen om følelsesanalyse - når folk skriver ting i Twitter og Facebook-innlegg, er det mulig å trekke ut positive, negative eller nøytrale holdninger. Ingen foreslår at meningsmålinger bare bruker Twitter for å forutsi valg, men det kan brukes til å forbedre en rent statistisk modell ved å legge til en vital dynamisk dimensjon.

For eksempel analyserte BJSS SPARCK 14 millioner tweets før valget og korrekt forutslo resultatet, og avdekket at syv av hver ti tweets sendt i de siste fire ukene av kampanjen var til fordel for Trump.

"Når de bruker sosiale medier, blir folk mindre bevoktet om deres sanne sosiale og politiske tilknytninger," sier Simon Sear, praktiserende leder av BJSS SPARCK. «Språket deres blir ufiltrert, de 'liker' innhold som appellerer til dem og følger folk og organisasjoner som representerer verdiene sine ... kontrast det med å innrømme pinlig følelse og intensjoner for en potensielt dømmende menneskelig meningsmåler."