Tusmørket af fastnetinterview

Af Courtney Kennedy, Kyley McGeeney og Scott Keeter


Nu hvor over 90% af amerikanske voksne har mobiltelefoner,1undersøgelsesforskere overvejer, om det er nødvendigt at fortsætte med at ringe fastnetnumre i telefonafstemninger med tilfældig ciffer (RDD). En ny Pew Research Center-undersøgelse finder ud af, at for afstemninger, der allerede gennemfører en betydelig andel af interviews med mobiltelefoner, er svaret generelt 'nej' - i det mindste hvis datakvaliteten er det eneste problem.

Ifølge undersøgelsen ser undersøgelsesresultaterne næsten identiske ud, uanset om de kun er baseret på de voksne, der nås via mobiltelefoner eller på en kombination af mobiltelefon- og fastnetrespondenter. Analyse af mere end 250 spørgeskemaundersøgelser viser, at når fastnet er ekskluderet, ændres estimaterne med mindre end 1 procentpoint i gennemsnit.

I modsætning til bekymring for, at afstemning på en eller anden måde er brudt, viser undersøgelsen også, at RDD-prøver fra mobiltelefoner er repræsentative for den amerikanske offentlighed på en række nøgledimensioner, især alder, race og etnicitet. Den vægtning, der er nødvendig for at tilpasse prøven til demografiske benchmarks, er beskeden, idet uddannelse og køn kræver mest justering.

Prøver af voksne, der nås via mobiltelefon, er meget mere demografisk repræsentative for USA end prøver af voksne, der nås via fastnet. Derfor reducerer udskiftning af fastnetinterview med mobiltelefoninterviews den grad, i hvilken undersøgelsesdata skal vægtes for at være repræsentative for amerikanske voksne. Dette forbedrer igen præcisionen af ​​estimater ved at reducere marginen for prøveudtagningsfejl. Måske ikke overraskende blev en større undersøgelse for nylig redesignet til at omfatte 100% mobiltelefoninterview.2

Men mens mobiltelefonundersøgelser kan producere data af høj kvalitet, der på nogle måder er bedre end resultaterne af nuværende dual-frame (fastnet plus mobiltelefon) design, er hverken Pew Research Center eller telefonundersøgelsesbranchen mere generelt klar til straks at droppe fastnetprøver. Fastnetinterview er cirka 30% -50% billigere pr. Interview end mobiltelefoninterview. Som et resultat forbliver fasttelefoner en attraktiv mulighed for at opnå en fast samlet stikprøvestørrelse (f.eks. N = 1.000), selvomeffektivprøve størrelse efter vægtning er lavere end typisk ville blive opnået ved kun at ringe til mobiltelefoner.3Der er også visse emner, såsom erfaringer fra ældre amerikanere og vælgerens hensigt i valg med lav valgdeltagelse,4at fastnet stadig er særligt nyttigt til adressering.


I forventning om denne forestående overgang til 100% mobiltelefonundersøgelser har Pew Research Center skabt en eksperimentel vægt, der kun bruger interviews foretaget med mobiltelefoner i næsten alle undersøgelser siden 2012. Vægten simulerer, hvad undersøgelsesresultaterne ville have været, hvis kun mobiltelefoner blev ringet op.

For vigtige, ofte stillede spørgsmål såsom partisk tilknytning, har forskellen mellem de offentliggjorte samlede prøveestimater - baseret på fasttelefoner og mobiltelefoner - og estimater baseret på mobiltelefonprøven tendens til at være ret lille. I april 2012 var for eksempel andelen af ​​amerikanske voksne, der identificerede sig som republikanere eller skæve republikanere, næsten identiske, når de blev beregnet ved hjælp af den samlede prøve (39%) i forhold til bare mobiltelefonprøven (40%). Resultatet var meget ens i en undersøgelse fra september 2015 (41% for den samlede prøve versus 42% for mobiltelefonprøven).


Konturerne af tendenser ser også ud til at være stort set upåvirket af at droppe fastnet. Både de samlede estimater og mobiltelefonprøveoverslagene viser, at præsident Obamas jobgodkendelsestal stiger fra midten af ​​40'erne til de lave 50'ere i 2012, falder i 2013-2014 og derefter igen svinger i 2015.

Pew Research Center har øget andelen af ​​interviews foretaget på mobiltelefoner i typiske undersøgelser fra 25% i 2007 til 75% i 2016 som svar på den udbredte anvendelse af mobiltelefoner. Dette betyder, at eventuelle forskelle mellem estimater af mobiltelefonprøver og samlede estimater af naturligvis bør indsnævres over tid, da førstnævnte udgør en stadig større andel af sidstnævnte.


Denne designændring over tid forklarer uden tvivl noget af ligheden mellem de to typer estimater, især i de senere år. Det betyder også, at for undersøgelser, der i øjeblikket indeholder en høj andel af interviews via fastnet, er konvertering til 100% mobiltelefoninterview muligvis ikke problemfri. Jo større den nuværende fastnetallokering er, jo større er risikoen for, at estimater kan ændre sig, hvis fastprøven pludselig udelukkes fra undersøgelsen.

Test af effekten af ​​at droppe fastnet på over 250 spørgeskemaundersøgelser

Mens tendenser for et par nøglemålinger synes generelt ikke at blive påvirket af den simulerede udelukkelse af fastnet, er der behov for yderligere analyse for at afgøre, om dette resultat gælder for et bredere sæt af spørgsmål til undersøgelsen. Effekten af ​​at udelukke fasttelefoner er grundlæggende et resultat på spørgsmålsniveau. Selvom det kan være sikkert at udelukke fastnet, når du stiller nogle spørgsmål, er det måske ikke tilfældet for andre spørgsmål, der undersøger forskellige emner.

For at tackle dette kombinerede vi spørgsmål fra otte forskellige nationale dual-frame fastnet- og mobiltelefon RDD-undersøgelser udført af Pew Research Center i de sidste to år i en stor analyse. Foranstaltningerne spænder fra holdninger til abort, homoseksualitet og udenrigspolitik til meninger om online dating, personlig økonomi og synspunkter på valget i 2016. En komplet oversigt findes i tillægget.

For hvert af de 279 analyserede spørgsmål beregnede vi forskellen mellem det vægtede estimat baseret på den kombinerede (mobiltelefon plus fastnet) prøve og det vægtede estimat baseret på mobiltelefonprøven alene.5Den gennemsnitlige forskel (absolut værdi) mellem disse to skøn var mindre end 1 procentpoint (0,78 point). Langt størstedelen af ​​spørgsmålene (87%) viste enten en 0- eller 1-punktsforskel.


Ud af 279 spørgsmål, kun et - 'Har du en mobiltelefon eller ej'? - viste en statistisk signifikant forskel. Per definition er dette skøn 100%, når bare mobiltelefonprøven bruges. Når fastnetinterviews er inkluderet, er estimatet 92%. Dette fund er næsten for intuitivt til at gider at nævne, da en undersøgelse, der kun ringer mobiltelefoner, naturligvis ville være et meningsløst værktøj til måling af mobiltelefonindtrængning. Dette resultat gør dog det punkt, at der er grænser for, hvad mobiltelefonundersøgelser nøjagtigt kan måle.

Det er også værd at bemærke, at mens denne analyse testede et stort antal spørgsmål, der er typiske for dem, der blev stillet i opinionsundersøgelser, dækker den ikke alle mulige undersøgelsesdomæner. F.eks. Blev spørgsmål om sundhed, transport eller beskæftigelse ikke dækket i kildeundersøgelserne og blev derfor ikke medtaget i analysen. Som et resultat bør forskere være forsigtige, hvis de ønsker at generalisere resultaterne fra denne undersøgelse til andre undersøgelsesområder.

Forskelle i undergrupper er stort set begrænset til estimater for 65+ år

Det faktum, at estimater for 'alle voksne' generelt ikke påvirkes af at droppe fastnet, bør give en vis sikkerhed for forskere, der står over for denne overgang, men det løser ikke alle bekymringer. Gennemtrængningshastigheder for mobiltelefoner er ikke ensartede i alle befolkningssegmenter. For segmenter, hvor vedtagelse af mobiltelefoner er forsinket (f.eks. Ældre), kan kassering af fastnetprøver have en mere mærkbar og problematisk effekt på undersøgelsesestimaterne.

At undersøge effekten af ​​at udelukke fasttelefoner på undergruppestimater er udfordrende, fordi stikprøvestørrelser for nøgleundergrupper ofte er relativt små og dermed udsættes for en hel del støj på grund af prøveudtagningsfejl.

For eksempel indeholdt en politisk undersøgelse fra Pew Research Center i september 2015 1.502 samlede interviews, men mobiltelefonprøven alene havde 106 interviews med sorte ikke-spansktalende, 141 med spansktalende og 161 med voksne i alderen 65 år og derover. Disse prøvestørrelser giver ikke stærk statistisk styrke til at detektere forskelle i samlede estimater i forhold til mobiltelefonprøveestimater.

Vores løsning var at udføre undergruppeanalysen ved hjælp af to meget store nationale dual-frame RDD-undersøgelser. Den politiske polariserings- og typologiundersøgelse fra 2014 indeholdt 10.013 interviews. 2015-undersøgelsen om regeringen indeholdt 6.004 interviews.

Disse undersøgelser har store nok undergruppeprøvestørrelser til at understøtte pålidelige test af forskelle, når de simulerer udelukkelsen af ​​fastnet. De indeholder også en vis overlapning i spørgeskemaindholdet. For at vurdere robustheden af ​​observerede forskelle fokuserede vi analysen på spørgsmål, der blev stillet i begge disse store undersøgelser. En undtagelse herfra er civilstand, hvilket er et almindeligt afstemningsspørgsmål, men blev kun stillet i 2014-undersøgelsen.

Analysen indikerer, at effekten på store undergruppestimater fra at droppe fastnetprøven har tendens til at være lille og ofte er inkonsekvent. For eksempel i 2015-undersøgelsen om regeringen er den anslåede andel af latinamerikanere, der identificerer sig som republikanske eller skæve republikanere, 26% baseret på alle interviews versus 27% baseret på kun mobiltelefoninterviews. På et 10-indeks, der måler ideologisk konsistens, er den anslåede andel af sorte ikke-latinamerikanere, der er klassificeret som konsekvent eller mest konservativ, 8% baseret på alle interviews versus 7% baseret på mobiltelefoninterviews.

Bortset fra det er ikke alle forskellene mindre. Den anslåede andel af voksne, der er gift, er 44% baseret på mobiltelefonprøven versus 48% baseret på den samlede prøve. I henhold til 2014 American Community Survey (ACS) er den faktiske ægteskabssats blandt amerikanske voksne 51%. Dette indikerer, at hvis ægteskabelig status ikke justeres i vægtningen, kan gifte voksne være noget underrepræsenteret i FDU-undersøgelser på mobiltelefoner.

Der er en endnu større forskel for estimater af internetbrug blandt ældre. Når fastnetinterviews udelukkes, øges den anslåede andel af voksne i alderen 65 år og derover, der bruger internettet, med mindst 10 procentpoint i begge undersøgelser. At droppe fastnetinterviews reducerer også den anslåede andel af voksne, der deltager i religiøse tjenester ugentligt eller oftere. Dette gælder for de fleste af de store undergrupper, men ændringen er mest dramatisk for de i alderen 65 år og derover.

Dataene antyder også, at skøn over den politiske ideologi for voksne i alderen 65 år og derover bliver lidt mere konservative, når der kun interviewes på mobiltelefoner. Den anslåede andel af seniorer, der identificerer sig som republikanske eller skæve republikanske og konsekvent eller for det meste konservative, krydser med 1 til 2 procentpoint i begge undersøgelser, når fastnet ikke bruges. Dybere grave viser, at denne forskel kommer fra de ældste medlemmer af den aldersgruppe, især de i alderen 80 år og derover.

I 2014-politiske polarisations- og typologiundersøgelser, når fastnetinterviews er udelukket, stiger den procentdel, der identificerer sig som republikansk eller skæve republikaner, fra 46% til 47% blandt hele gruppen af ​​voksne i alderen 65 år og derover. Dette afspejler en 7-punkts stigning blandt voksne i alderen 80 og ældre og ingen ændring blandt voksne i alderen 65 til 79-gruppen. På samme måde udløser det politiske ideologiindeks ekskl. Fasttelefoner en 10-punkts stigning i andelen, der er klassificeret som konsistent eller mest konservativ blandt de 80-årige og derover, men ingen ændring for de 65-79-årige.

Mekanismen / mekanismerne bag dette mønster kan være vanskelige at drille ud, da antallet af mobiltelefoninterviews med voksne i alderen 80 år og derover har tendens til at være lille, selv i en meget stor RDD-undersøgelse. Forsøg på at opdage forskelle inden for en allerede lille undergruppe løber hurtigt tør for statistisk magt.

Alligevel indikerer analyse af 481 mobiltelefoninterviews med voksne i alderen 80 år og ældre fra 20 Pew Research Center-undersøgelser foretaget i 2014 og 2015, at denne effekt er begrænset til mænd. Blandt denne avancerede aldersgruppe er mænd, der nås via mobiltelefon, mere republikanske end dem, der nås via fastnet. Der er ingen sådan forskel blandt kvinder.

Alt i alt, mens nogle grupper, der almindeligvis analyseres i meningsmålinger, ikke synes at være systematisk påvirket af overgangen til kun mobiltelefonundersøgelser, gælder dette ikke for de meget ældre. Fremtidig undersøgelse bør undersøge, om der er andre ofte undersøgt befolkningssegmenter, hvis skøn er følsomme over for udelukkelse af fastnet i undersøgelser.

Da mobiltelefonprøver forbedres demografisk, forringes fastnetprøver

Mens mobiltelefonprøver er blevet mere og mere repræsentative for den amerikanske offentlighed, har tendensen med fastnetprøver været lige det modsatte.

I 2008 havde både mobiltelefon- og fastnetprøver skæv aldersfordeling, omend i forskellige retninger. I en undersøgelse fra september 2008 fra Pew Research Center var den uvægtede mobiltelefonprøve underrepræsenteret ældre voksne - 9% var 65 år og ældre sammenlignet med et ACS-benchmark på 19% - og overrepræsenterede unge voksne, da 31% var i alderen 18 til 29 sammenlignet med et ACS-benchmark på 21%. På samme tid var fastnetprøven underrepræsenterende unge voksne (9%), mens den overrepræsenterede ældre voksne (25%).

Historien er en helt anden i dag, da mobiltelefoner ikke længere er de unges eksklusive domæne. I en undersøgelse fra september 2015 var den uvægtede aldersfordeling af mobiltelefonprøven næsten identisk med ACS-befolkningens benchmarks, inklusive for de i alderen 65 år og derover (16% i mobiltelefonprøven versus 19% i ACS).

Ligesom forbedringen i mobiltelefonprøver har været hurtig og dramatisk, har forringelsen af ​​fastnetprøver også været. Fra 2008 til 2015 har andelen af ​​voksne, der er interviewet på fastnet i alderen 50 år eller ældre, balloneret fra 58% til 76%.

Der er også stærk forskel mellem prøver på race og etnicitet. Det vigtige punkt her er ikke så meget, at mobiltelefonprøver er mere repræsentative i denne henseende end fastnet - forskere har anerkendt dette i flere år - men snarere, at ikke-vægtede mobiltelefonprøverpå egen håndser nu ud som hele den amerikanske offentlighed.

I 2015 var ca. en ud af ti mobiltelefonrespondenter (11%) sorte, og ca. en ud af syv (14%) var spansktalende. Disse tal afspejler nøje den faktiske størrelse af disse grupper i den amerikanske voksne befolkning (henholdsvis 12% og 15%). Dette indikerer, at en undersøgelsesforsker kunne gøre et meget godt stykke arbejde med at repræsentere disse nøgleundergrupper ved hjælp af kun en mobiltelefonprøve.

Fastnetprøver skifter derimod stærkt hvide ikke-spansktalende (82%) i forhold til den voksne befolkning (65%). Som et resultat overrepræsenterer mange, hvis ikke de fleste RDD-undersøgelser, der kombinerer fastnet og mobiltelefoner, hvide på et ikke-vægtet grundlag og stoler på vægtning for at korrigere for det.

Mobilprøver er underrepræsenteret for kvinder og voksne med mindre uddannelse

Mens mobiltelefonprøver er ret repræsentative for alder og race / etnicitet, har de deres mangler. For det første har de en tendens til at skæve mænd. Mobiltelefonprøven i undersøgelsen fra september 2015 var 56% mænd, 44% kvinder, hvilket var 8 procentpoint under ACS-benchmark for kvinder. Denne type resultat er ret almindelig i moderne RDD-prøver på mobiltelefoner.

Mekanismen bag dette kønsskæv i mobiltelefonprøver forstås ikke godt. I årtier har fastnetprøver skævt kvinder og fortsætter med at gøre det, men af ​​formodentlig klare grunde. Kvinder har tendens til at leve længere end mænd, og fastnetprøver er skæve. Derudover kan traditionelle kønsroller muligvis have bidraget til, at kvinder var noget mere tilbøjelige til at besvare telefonen på vegne af husstanden.

For mobiltelefoner er der ingen indlysende fortælling om kønsskævningen. En mulig forklaring er, at mænd har lavere bekymringsniveauer for privatlivets fred eller telemarketing-svindel og derfor er mere tilbøjelige til at besvare opkald fra ukendte numre, f.eks. Fra dataindsamlere. Eller måske bruger mænd i gennemsnit mindre tid på at tale på deres mobiltelefoner end kvinder, hvilket gør undersøgelsesopkald en lidt mere ny oplevelse for dem. Forhåbentlig vil fremtidige undersøgelser bevæge sig ud over spekulation og kaste noget empirisk lys over mekanismen (erne) bag denne kønsforskel.

Uddannelse er en mindre mystisk, men ikke mindre vigtig udfordring for både mobiltelefon- og fastnetprøver. Begge typer prøver underrepræsenterer konsekvent voksne med lavere uddannelsesniveauer på et ikke-vægtet grundlag. Voksne med en gymnasial uddannelse eller mindre udgør 41% af offentligheden, men mindre end en tredjedel af respondenterne fra fastnet- og mobiltelefonprøver (30% for hver stikprøve) i undersøgelsen fra september 2015.

For at imødegå forskellene mellem køn og uddannelse såvel som andre demografiske ubalancer bruger Pew Research Center såvel som andre større undersøgelsesorganisationer vægtning, især teknikker såsom rivning, til at tilpasse undersøgelsesprøven til befolkningsbenchmarks.

Kan dobbeltbrugere, der nås via mobiltelefon, repræsentere dem, der nås via fastnet?

For at forstå hvorfor der generelt kun er ringe effekt på vægtede estimater fra at droppe fastnetprøven, hjælper det med at forstå overlapningen. I sammenhæng med dual-frame RDD henviser overlapningen til det faktum, at nogle mennesker har både fasttelefoner og mobiltelefoner, hvilket betyder, at de kunne samples på begge. Dette betyder, at der er delvis gentagelse af befolkningsdækning leveret af fastnet- og mobiltelefonprøveudtagningsrammer.

I hver Pew Research Center-telefonundersøgelse bliver fastnet respondenter spurgt, om de har en fungerende mobiltelefon, og mobiltelefon respondenter bliver spurgt, om de har en fungerende fastnet. Respondenter, der rapporterer at have begge typer telefoner, er kendt som dobbeltbrugere. I en typisk undersøgelse, centret gennemførte i 2015, var ca. 29% af alle respondenter dobbeltbrugere, der blev nået i fastprøven. Yderligere 27% var nået til dobbeltbrugere i mobiltelefonprøven.

Når man tænker på at udelukke fastnetprøven i en fremtidig undersøgelse, er det værd at overveje, hvor godt de dobbelte brugere, der nås via mobiltelefon, repræsenterer dem, der nås via fastnet. Ved første rødme ser dobbeltbrugere fra mobiltelefonprøven ud til at være dårlige fuldmagter for dem, der nås via fastnet. Mobilprøve-dobbeltbrugere er signifikant yngre, mere mandlige, mere uddannede og mere racemæssigt forskellige i forhold til deres faste kolleger.

Disse grupper adskiller sig også med hensyn til nøgleindstillings- og adfærdsmæssige variabler. For eksempel rapporterer 37% af de dobbelte brugere fra mobiltelefonprøven at deltage i religiøse tjenester ugentligt eller oftere mod 44% blandt de to brugere, der nås via fastnet. Dobbeltbrugere fra mobiltelefonprøven er også mindre tilbøjelige til at betragte sig republikanske eller læne sig til det republikanske parti i forhold til deres kolleger fra fastnettprøven. På en bivariatbasis - det vil sige bare at se på svar fra dobbeltbrugere efter stikprøve - var den uvægtede forskel statistisk signifikant på hver af syv nøglevariabler, der blev undersøgt.

Ved nærmere undersøgelse forklares forskellene på vigtige holdnings- og adfærdsmæssige resultater dog stort set af de demografiske forskelle mellem fastnet- og mobiltelefonrespondenter, der er diskuteret ovenfor. Hvert af de syv resultater blev forudsagt ved hjælp af en regressionsmodel, der styrede for alder, køn, race / etnicitet og uddannelse. Afhængig af arten af ​​variablen blev der anvendt en lineær, ordinær eller binær logistisk model. I hver model blev resultatet estimeret ved kun at bruge dobbeltbrugere og regresseret efter prøvetype (fastnet vs. mobiltelefon), alder, køn, race / etnicitet og uddannelse. Hvis effekten af ​​prøvetype, som var signifikant i hver af de bivariate analyser, forblev signifikant i den multivariate regressionsanalyse, ville dette være bevis for, at dobbeltbrugere fra fastprøven adskiller sig fra dem, der nås med mobiltelefon - selv efter kontrol af det kendte demografiske forskelle.

Som det viser sig, forsvinder virkningen forbundet med prøvetypen for seks af de syv resultater (er ikke længere statistisk signifikant), når man kontrollerer for demografien. Dette betyder, at de dobbelte brugere, der nås via mobiltelefon, er rimelige proxyer for dem, der nås via fastnet, efter at have taget højde for forskelle på tværs af demografiske variabler, der er justeret for i undersøgelsesvægtningen.

Husstandsindkomst er det ene skøn i denne analyse, hvor forskellen efter prøvetype ikke fuldt ud forklares med demografi. Dobbeltbrugere, der nås via mobiltelefon, har tendens til at have højere indkomster end dem, der nås via fastnet, selv efter at have kontrolleret køn, alder, uddannelse og race / etnicitet. Dette resultat antyder, at det for forskere, der bruger mobiltelefonundersøgelser til at måle resultater relateret til indkomst, kan være umagen værd at undersøge tilføjelsen af ​​indkomst eller noget korrelat deraf til vægtningsprotokollen for at reducere risikoen for bias.

Undersøgelser, der kun ringer til mobiltelefoner, giver mindre fejlmargin

Virkningen på præcisionen af ​​estimater (f.eks. Margen for prøveudtagningsfejl) er en anden vigtig overvejelse i overgangen til kun at ringe til mobiltelefoner. Analyse af 27 nationale undersøgelser af voksne udført af Pew Research Center mellem 2012 og 2015 viser, at præcision konstant forbedres, dog beskedent, med et 100% mobiltelefondesign i forhold til et fastnet- og mobiltelefondesign med to rammer, hvilket holder det samlede antal interviews fast .

For at undersøge præcision beregnede forskere to omtrentlige designeffekter6værdier for hver undersøgelse - en bruger den samlede prøvevægt og en anden bruger den eksperimentelle vægt baseret kun på mobiltelefonprøven.

Den omtrentlige designeffekt er en nyttig måling af flere grunde. Det er et sammenfattende mål for, hvor meget vægtning der er behov for for at tilpasse prøven til demografiske benchmarks for målpopulationen. Jo mere korrigerende vægtning der kræves, jo større er den omtrentlige designeffekt. Derudover er den omtrentlige designeffekt velegnet til sammenligning på tværs af forskellige undersøgelser, fordi den i modsætning til fejlmarginen ikke er en funktion af antallet af interviews. Fejlmargenen og designeffekten er dog tæt forbundet. En designeffekt større end 1 øger bredden af ​​fejlmargenen.

Mellem 2012 og 2015 var den gennemsnitlige omtrentlige designeffekt af den eksperimentelle vægt ved hjælp af kun mobiltelefonprøven 1,22, hvilket kan sammenlignes med et gennemsnit på 1,32 ved hjælp af den faktiske undersøgelsesvægt baseret på både fastnettelefonen og mobiltelefonprøverne.

For en hypotetisk undersøgelse med 1.000 interviews oversættes designeffektforskellen til en fejlmargin ved 95% konfidensniveau på plus eller minus 3,4 procentpoint ved kun at bruge mobiltelefoner versus plus eller minus 3,6 point ved hjælp af både fastnet og mobiltelefon som tildelt i Pew Research Center undersøgelser analyseret. Med hensyn til statistisk styrke ville undersøgelsen, der kun vedrører mobiltelefoner, have omkring 60 flere interviews end dual-frame-undersøgelsen. Med andre ord har mobilt design kun en tendens til at give en større effektiv prøvestørrelse, alt andet lige end dual-frame design.

Den nøjagtige fordel ved designet, der kun bruger mobiltelefoner, stammer fra tre hovedfaktorer. Som diskuteret ovenfor er prøver af voksne, der nås via mobiltelefon, meget mere demografisk repræsentative end prøver af voksne, der nås via fastnet, især med hensyn til alder, race og etnicitet. Dette betyder, at mobiltelefonprøver generelt kræver mindre vægtningskorrektion end faste prøver.

De andre faktorer, der bidrager til præcisionsfordelen, har at gøre med, hvordan undersøgelsesvægte beregnes. Når en undersøgelse har både en fastnetprøve og en mobiltelefonprøve, skal vægten omfatte en justering for at tage højde for, at personer med både fasttelefoner og mobiltelefoner kunne have været nået i begge prøver og dermed har en større chance for udvælgelse i forhold til voksne med kun en type telefon.7Denne justering for overlapningen i samplingsrammerne øger variationen i vægte og til gengæld designeffekten. I modsætning hertil har undersøgelser, der kun prøver mobiltelefonnumre, ikke brug for en sådan justering og undgår straf i præcision.

At droppe fastnettprøven eliminerer uden tvivl behovet for at medtage en justering af vægtning for respondentvalg. Fastnet betragtes generelt som en husstandsniveau. Når interviewere ringer fasttelefoner, vælger de typisk en voksen til at interviewe blandt alle voksne i husstanden. Forskere tilpasser sig dette ved at indveje faste interviews, der er proportionale med antallet af voksne i husstanden.

Mobilprøver i det store og hele indeholder ikke denne justering af vægtning, fordi undersøgelsesforskere har en tendens til at antage, at mobiltelefoner er en enhed på personniveau snarere end en enhed på husholdningsniveau.8Det faktum, at mobiltelefonundersøgelser ikke kræver så mange vægtningskorrektioner som dual-frame-undersøgelser, bidrager til deres større samlede præcision.

Konklusioner

For at være sikker er der stadig mere at lære om konsekvenserne af at droppe fastnetprøver, og beviser fra andre analyser peger på nogle udfordringer. Mobiltelefoner er fortsat dyrere pr. Interview end fasttelefoner, og antallet af mobiltelefonbrug er ikke ensartet i alle segmenter af offentligheden. Især har mobiltelefonbrug et negativt forhold til alderen.9Der er et overbevisende argument for at fastholde fastnetprøver i undersøgelser, der fokuserer på ældre borgere eller forsøger at estimere teknologipenetrationsgraden. Derudover er der beviser for, at nedlæggelse af fastnetprøven ville have en negativ indvirkning på datakvaliteten for undersøgelser af sandsynlige vælgere i valg med lav valgdeltagelse,10i det mindste på kort sigt.

Til meningsmålinger, der er beregnet til at repræsentere alle amerikanske voksne, finder vi dog, at RDD-prøver fra mobiltelefoner er en styrke snarere end en svaghed. Demografisk set er mobiltelefonprøver meget mere repræsentative for offentligheden end faste prøver og kræver igen mindre vægtning. I forhold til Pew Research Centers nuværende design om at stille et flertal af interviews med mobiltelefoner, ville flytning til et 100% mobiltelefondesign ikke meningsfuldt ændre de fleste estimater.