{"id":2374,"date":"2017-08-10T17:28:14","date_gmt":"2017-08-10T17:28:14","guid":{"rendered":"https:\/\/www.kolabtree.com\/blog\/?p=2374"},"modified":"2017-08-14T10:11:42","modified_gmt":"2017-08-14T10:11:42","slug":"correct-outliers-regression-trumps-vote","status":"publish","type":"post","link":"https:\/\/www.kolabtree.com\/blog\/it\/correct-outliers-regression-trumps-vote\/","title":{"rendered":"Come correggere gli outlier nei modelli di regressione: Un esempio con la razza, l'istruzione e i non assicurati sul voto di Trump"},"content":{"rendered":"

Questo post \u00e8 apparso originariamente nella mia rubrica sul sito giornalismo guidato dai dati<\/a>.<\/em><\/p>\n

Nel mio ultimo post ho parlato di come la regressione<\/a> pu\u00f2 essere uno strumento utile per distinguere le diverse relazioni tra le variabili correlazionali. Ho anche parlato di come i valori anomali possono essere problematici. Un modo di trattare un outlier \u00e8 semplicemente quello di eliminarlo dall'analisi. Cos\u00ec facendo si riduce la potenza statistica (la probabilit\u00e0 di trovare un predittore significativo quando esiste) e si rimuovono informazioni potenzialmente preziose dal modello. Potrebbe essere un'impresa pi\u00f9 fruttuosa in quanto si possono ottenere informazioni preziose. Ho fatto questo nel mio post su come Washington, DC differisce dagli altri stati e mi ha dato un'idea per un'altra covariata che dovrebbe essere considerata in aggiunta a quelle gi\u00e0 considerate: concentrazione di gruppi di odio, % non assicurati, % con un diploma di laurea o superiore, e % in povert\u00e0.<\/p>\n

Nel mio post sulle caratteristiche di Washington, DC come un outlier<\/a> Ho scoperto che \u00e8 il meno bianco di tutti gli stati considerati. Solo il 40,2% della popolazione dei distretti si identifica come bianca o caucasica. Solo le Hawaii hanno un % bianco pi\u00f9 piccolo, al 25,4%. Nell'exit poll per le elezioni dell'anno scorso, 60% delle donne bianche senza istruzione universitaria hanno votato per Trump, mentre 71% dei maschi bianchi senza istruzione universitaria. Il 74% dei non bianchi ha votato per la Clinton.<\/p>\n

Aggiungere questo al modello ha migliorato significativamente la precisione del modello con DC incluso con il 78,5% della variabilit\u00e0 del voto di Trump rappresentato. Le variabili per i gruppi d'odio e la povert\u00e0 % non erano significative e sono state escluse perch\u00e9 averle nel modello diminuisce la potenza statistica. Le variabili % scapolo, % bianco, e % non assicurato erano significative (il che significa che il p-value \u00e8 inferiore a 0,05 che spiegher\u00f2 in un futuro post), le altre no. L'output della maggior parte dei pacchetti statistici:<\/p>\n\n\n\n\n\n\n\n
\n

78.5% della variabilit\u00e0 <\/i><\/p>\n

tenuto conto di<\/i><\/p>\n<\/td>\n

\n

Coefficienti<\/i><\/p>\n<\/td>\n

\n

Errore standard<\/i><\/p>\n<\/td>\n

\n

t Stato<\/i><\/p>\n<\/td>\n

\n

P-value<\/i><\/p>\n<\/td>\n

\n

Inferiore <\/i><\/p>\n

95%<\/i><\/p>\n<\/td>\n

\n

Superiore <\/i><\/p>\n

95%<\/i><\/p>\n<\/td>\n<\/tr>\n

\n

Intercettare<\/p>\n<\/td>\n

\n

51.55<\/p>\n<\/td>\n

\n

8.92<\/p>\n<\/td>\n

\n

5.78<\/p>\n<\/td>\n

\n

5.75E-07<\/p>\n<\/td>\n

\n

33.61<\/p>\n<\/td>\n

\n

69.48<\/p>\n<\/td>\n<\/tr>\n

\n

% laurea di primo livello<\/p>\n

o superiore<\/p>\n<\/td>\n

\n

-1.11<\/p>\n<\/td>\n

\n

0.15<\/p>\n<\/td>\n

\n

-7.55<\/p>\n<\/td>\n

\n

1.2E-09<\/p>\n<\/td>\n

\n

-1.41<\/p>\n<\/td>\n

\n

-0.82<\/p>\n<\/td>\n<\/tr>\n

\n

% Bianco<\/p>\n<\/td>\n

\n

0.31<\/p>\n<\/td>\n

\n

0.06<\/p>\n<\/td>\n

\n

4.95<\/p>\n<\/td>\n

\n

1.01E-05<\/p>\n<\/td>\n

\n

0.18<\/p>\n<\/td>\n

\n

0.43<\/p>\n<\/td>\n<\/tr>\n

\n

% non assicurato<\/p>\n<\/td>\n

\n

0.74<\/p>\n<\/td>\n

\n

0.26<\/p>\n<\/td>\n

\n

2.86<\/p>\n<\/td>\n

\n

0.006319<\/p>\n<\/td>\n

\n

0.22<\/p>\n<\/td>\n

\n

1.26<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

La colonna etichettata \"coefficienti\" d\u00e0 i valori stimati per l'equazione di regressione che ho spiegato nei post precedenti. L'equazione attuale recita<\/p>\n

Trump % del voto = 51,55 - 1,11*(% celibe) + 0,31*(% bianco) + 0,74*(% non assicurato)<\/p>\n

Questo dice che quando tutte le covariate sono uguali a zero, si prevede che Trump abbia il 51,55% dei voti. Per ogni aumento di 1% degli scapoli % c'\u00e8 una diminuzione stimata di 1,11% nel voto di Trump. Per ogni aumento di 1% nella popolazione bianca % nello stato c'\u00e8 un aumento stimato di 0,31% e per ogni aumento di 1% nel % dei non assicurati nello stato.<\/p>\n

La colonna etichettata \"errore standard\" \u00e8 una stima dell'incertezza nei coefficienti. La colonna etichettata \"t stat\" \u00e8 la statistica del test per determinare se i coefficienti sono significativamente diversi da zero. Il \"p-value\" \u00e8 la probabilit\u00e0 stimata di osservare questo coefficiente stimato quando il coefficiente vero \u00e8 zero. Per convenzione, quando il p-value \u00e8 inferiore a 0,05 si conclude che il vero coefficiente \u00e8 diverso da zero. Le ultime due colonne mostrano i limiti superiore e inferiore di un intervallo di confidenza 95% per un coefficiente. L'intervallo di confidenza dice che il 95% delle volte che le stime sono fatte, il vero coefficiente sar\u00e0 tra i limiti superiore e inferiore. In questo caso, se i limiti superiore e inferiore non sono a cavallo del numero zero, ci\u00f2 equivale al fatto che il coefficiente \u00e8 significativamente diverso da zero.<\/p>\n

\"\"<\/p>\n

Il grafico a dispersione sopra mostra i valori effettivi (nel diamante blu) e previsti (nei quadrati rossi) per % bianco e % Trump per il modello che aggiusta per % celibi e % non assicurati. I valori reali e previsti per il Distretto di Columbia (DC) e le Hawaii sono molto vicini l'uno all'altro, il che suggerisce un buon adattamento. Uno stato che si adatta male \u00e8 il Vermont dove il voto effettivo per Trump \u00e8 10% pi\u00f9 basso del voto previsto che pu\u00f2 essere visto direttamente sopra il diamante blu per il Vermont.<\/p>\n

\"\"<\/p>\n

Il grafico di dispersione per % laurea o superiore suggerisce che l'adattamento non \u00e8 cos\u00ec buono come quello per % bianco come predittore. Questo si riflette nell'errore standard maggiore per questo predittore (0,15) che per l'% bianco (0,06). La predizione per DC non \u00e8 altrettanto buona per questo predittore che ha il pi\u00f9 alto. La tendenza \u00e8 ancora significativa nella direzione negativa.<\/p>\n

\"\"<\/p>\n

Lo scatterplot per il % non assicurato come predittore mostra ancora meno fit per il % del voto di Trump. DC e Alaska sono punti poco adatti per questo predittore tra molti altri stati. L'errore standard per questo predittore mostra un adattamento ancora minore (0,26) per gli altri predittori, sebbene sia ancora statisticamente significativo.<\/p>\n

La regressione multipla \u00e8 uno strumento potenzialmente potente per distinguere le relazioni tra le variabili predittive di un risultato specifico, se condotta correttamente. Aggiungere le giuste covariate come la razza pu\u00f2 aiutare ad alleviare gli effetti di un outlier come Washington, DC. \u00c8 sempre meglio includere tutti i dati per dare un quadro il pi\u00f9 completo possibile.<\/p>\n

Ora vediamo che come il % della popolazione di uno stato con un diploma di laurea o superiore aumenta il % del voto per Trump diminuisce. Allo stesso tempo, come aumentano le percentuali dei bianchi e dei non assicurati in uno stato, aumenta la % del voto di Trump. In presenza di queste variabili la concentrazione di gruppi di odio e l'% dello stato in povert\u00e0 non sono pi\u00f9 predittori significativi del voto di Trump.<\/p>\n

Mentre Trump e il congresso controllato dai repubblicani si preparano ad abrogare l'Affordable Care Act (ACA o come dice il GOP Obamacare), il Congressional Budget Office stima che 23 milioni di americani perderanno la loro assicurazione sanitaria nella versione della Camera della legge e si stima che 22 milioni la perderanno nella versione del Senato. In questo modello il tasso di non assicurati in ogni stato \u00e8 positivamente correlato al voto di Trump. Trump crede che aumentare il tasso di non assicurati aumenter\u00e0 la sua quota di voti nel 2020?<\/p>\n

La povert\u00e0 non \u00e8 stata associata al voto di Trump nel 2016. La diminuzione delle stime dei non assicurati da quando l'ACA \u00e8 entrata in vigore nel 2014 \u00e8 dovuta principalmente all'espansione di Medicaid per gli individui pi\u00f9 poveri e ai sussidi che permettono agli individui a pi\u00f9 basso reddito di acquistare un'assicurazione sanitaria. L'aumento del numero di non assicurati potrebbe non diminuire il voto di Trump, ma \u00e8 improbabile che lo aumenti.<\/p>","protected":false},"excerpt":{"rendered":"

This post originally appeared in my column on the site data driven journalism. In my last post I talked about how regression can be a useful tool to tease apart the different relationships between correlational variables. I also talked about how outliers can be problematic. One way of dealing with an outlier is simply to<\/p>\n

Per saperne di pi\u00f9<\/a><\/div>","protected":false},"author":31,"featured_media":2400,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[247],"tags":[360,175,361,246,362],"acf":[],"yoast_head":"\nHow to Correct Outliers in Regression Models: An analysis of Trump's vote<\/title>\n<meta name=\"description\" content=\"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.kolabtree.com\/blog\/it\/correct-outliers-regression-trumps-vote\/\" \/>\n<meta property=\"og:locale\" content=\"it_IT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"How to Correct Outliers in Regression Models: An example with race, education, and the uninsured on Trump\u2019s vote\" \/>\n<meta property=\"og:description\" content=\"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.kolabtree.com\/blog\/it\/correct-outliers-regression-trumps-vote\/\" \/>\n<meta property=\"og:site_name\" content=\"The Kolabtree Blog\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/kolabtree\" \/>\n<meta property=\"article:published_time\" content=\"2017-08-10T17:28:14+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2017-08-14T10:11:42+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.kolabtree.com\/blog\/wp-content\/uploads\/2017\/08\/donald-2147250_1280-1.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1280\" \/>\n\t<meta property=\"og:image:height\" content=\"853\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Paul Ricci\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@CSIwoDB\" \/>\n<meta name=\"twitter:site\" content=\"@kolabtree\" \/>\n<meta name=\"twitter:label1\" content=\"Scritto da\" \/>\n\t<meta name=\"twitter:data1\" content=\"Paul Ricci\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo di lettura stimato\" \/>\n\t<meta name=\"twitter:data2\" content=\"5 minuti\" \/>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"How to Correct Outliers in Regression Models: An analysis of Trump's vote","description":"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.kolabtree.com\/blog\/it\/correct-outliers-regression-trumps-vote\/","og_locale":"it_IT","og_type":"article","og_title":"How to Correct Outliers in Regression Models: An example with race, education, and the uninsured on Trump\u2019s vote","og_description":"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models","og_url":"https:\/\/www.kolabtree.com\/blog\/it\/correct-outliers-regression-trumps-vote\/","og_site_name":"The Kolabtree Blog","article_publisher":"https:\/\/www.facebook.com\/kolabtree","article_published_time":"2017-08-10T17:28:14+00:00","article_modified_time":"2017-08-14T10:11:42+00:00","og_image":[{"width":1280,"height":853,"url":"https:\/\/www.kolabtree.com\/blog\/wp-content\/uploads\/2017\/08\/donald-2147250_1280-1.jpg","type":"image\/jpeg"}],"author":"Paul Ricci","twitter_card":"summary_large_image","twitter_creator":"@CSIwoDB","twitter_site":"@kolabtree","twitter_misc":{"Scritto da":"Paul Ricci","Tempo di lettura stimato":"5 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/#article","isPartOf":{"@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/"},"author":{"name":"Paul Ricci","@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/person\/d3ae828656a4c84a3a1b7cdba371820f"},"headline":"How to Correct Outliers in Regression Models: An example with race, education, and the uninsured on Trump\u2019s vote","datePublished":"2017-08-10T17:28:14+00:00","dateModified":"2017-08-14T10:11:42+00:00","mainEntityOfPage":{"@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/"},"wordCount":1063,"commentCount":0,"publisher":{"@id":"https:\/\/www.kolabtree.com\/blog\/#organization"},"keywords":["analytics","Data Science","statistics","trump","US elections"],"articleSection":["Guest posts"],"inLanguage":"it-IT","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/","url":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/","name":"How to Correct Outliers in Regression Models: An analysis of Trump's vote","isPartOf":{"@id":"https:\/\/www.kolabtree.com\/blog\/#website"},"datePublished":"2017-08-10T17:28:14+00:00","dateModified":"2017-08-14T10:11:42+00:00","description":"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models","breadcrumb":{"@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/#breadcrumb"},"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.kolabtree.com\/blog\/"},{"@type":"ListItem","position":2,"name":"How to Correct Outliers in Regression Models: An example with race, education, and the uninsured on Trump\u2019s vote"}]},{"@type":"WebSite","@id":"https:\/\/www.kolabtree.com\/blog\/#website","url":"https:\/\/www.kolabtree.com\/blog\/","name":"The Kolabtree Blog","description":"Expert Views on Science, Innovation and Product Development","publisher":{"@id":"https:\/\/www.kolabtree.com\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.kolabtree.com\/blog\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"it-IT"},{"@type":"Organization","@id":"https:\/\/www.kolabtree.com\/blog\/#organization","name":"Kolabtree","url":"https:\/\/www.kolabtree.com\/blog\/","logo":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/logo\/image\/","url":"","contentUrl":"","caption":"Kolabtree"},"image":{"@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/kolabtree","https:\/\/twitter.com\/kolabtree","https:\/\/instagram.com\/kolabtree","https:\/\/www.linkedin.com\/company\/kolabtree","https:\/\/en.m.wikipedia.org\/wiki\/Kolabtree"]},{"@type":"Person","@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/person\/d3ae828656a4c84a3a1b7cdba371820f","name":"Paul Ricci","image":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/person\/image\/","url":"https:\/\/www.kolabtree.com\/blog\/wp-content\/uploads\/2017\/08\/Race-4-the-Cure-006-96x96.jpg","contentUrl":"https:\/\/www.kolabtree.com\/blog\/wp-content\/uploads\/2017\/08\/Race-4-the-Cure-006-96x96.jpg","caption":"Paul Ricci"},"description":"Paul Ricci is a statistician, neuropsychologist and data analyst based in the USA. He writes a regular column for the website Data Driven Journalism and has an MA in Research Methodology and Neuroscience, and an MS in Biostatistics.","sameAs":["https:\/\/csiwodeadbodies.blogspot.com\/","https:\/\/twitter.com\/@CSIwoDB"],"url":"https:\/\/www.kolabtree.com\/blog\/it\/author\/paul-ricci\/"}]}},"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/posts\/2374"}],"collection":[{"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/users\/31"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/comments?post=2374"}],"version-history":[{"count":7,"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/posts\/2374\/revisions"}],"predecessor-version":[{"id":2401,"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/posts\/2374\/revisions\/2401"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/media\/2400"}],"wp:attachment":[{"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/media?parent=2374"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/categories?post=2374"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/it\/wp-json\/wp\/v2\/tags?post=2374"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}