{"id":2374,"date":"2017-08-10T17:28:14","date_gmt":"2017-08-10T17:28:14","guid":{"rendered":"https:\/\/www.kolabtree.com\/blog\/?p=2374"},"modified":"2017-08-14T10:11:42","modified_gmt":"2017-08-14T10:11:42","slug":"correct-outliers-regression-trumps-vote","status":"publish","type":"post","link":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/","title":{"rendered":"Como Corrigir Outliers em Modelos de Regress\u00e3o: Um exemplo com ra\u00e7a, educa\u00e7\u00e3o e os n\u00e3o segurados no voto do Trump"},"content":{"rendered":"

Este post apareceu originalmente na minha coluna no site jornalismo orientado por dados<\/a>.<\/em><\/p>\n

No meu \u00faltimo post eu falei sobre como a regress\u00e3o<\/a> pode ser uma ferramenta \u00fatil para separar as diferentes rela\u00e7\u00f5es entre as vari\u00e1veis correlacionais. Eu tamb\u00e9m falei sobre como as aberra\u00e7\u00f5es podem ser problem\u00e1ticas. Uma maneira de lidar com um outliers \u00e9 simplesmente elimin\u00e1-lo da an\u00e1lise. Fazer isso diminui o poder estat\u00edstico (a probabilidade de encontrar um preditor significativo quando ele existe) e remove informa\u00e7\u00f5es potencialmente valiosas do modelo. Poderia ser um esfor\u00e7o mais frut\u00edfero, pois informa\u00e7\u00f5es valiosas podem ser obtidas. Fiz isto em meu posto sobre como Washington, DC difere dos outros estados e me deu uma id\u00e9ia para outra covariada que deveria ser considerada al\u00e9m daquelas j\u00e1 consideradas: concentra\u00e7\u00e3o de grupos de \u00f3dio, % sem seguro, % com bacharelado ou superior, e % na pobreza.<\/p>\n

No meu postar sobre as caracter\u00edsticas de Washington, DC como um outlier<\/a> Descobri que \u00e9 o menos branco em compara\u00e7\u00e3o com qualquer um dos estados considerados. Apenas 40,2% da popula\u00e7\u00e3o dos distritos se identifica como branco ou caucasiano l\u00e1. Somente o Hava\u00ed tinha um % branco menor em 25,4%. Na vota\u00e7\u00e3o de sa\u00edda para a elei\u00e7\u00e3o do ano passado, 60% de mulheres brancas sem forma\u00e7\u00e3o universit\u00e1ria votaram no Trump enquanto 71% de homens brancos sem forma\u00e7\u00e3o universit\u00e1ria votaram no Trump. 74% de n\u00e3o-brancos votaram em Clinton.<\/p>\n

Acrescentando isso ao modelo melhorou significativamente a precis\u00e3o do modelo com CC inclu\u00eddo com 78,5% da variabilidade do voto do Trump contabilizado. As vari\u00e1veis para grupos de \u00f3dio e pobreza % n\u00e3o foram significativas e foram exclu\u00eddas, pois t\u00ea-las no modelo diminui o poder estat\u00edstico. As vari\u00e1veis % solteiro, % branco e % sem seguro foram significativas (o que significa que o valor p \u00e9 inferior a 0,05 eu explicarei em um posto futuro), as outras n\u00e3o foram. O resultado da maioria dos pacotes estat\u00edsticos:<\/p>\n\n\n\n\n\n\n\n
\n

78.5% da variabilidade <\/i><\/p>\n

contabilizado<\/i><\/p>\n<\/td>\n

\n

Coeficientes<\/i><\/p>\n<\/td>\n

\n

Erro Padr\u00e3o<\/i><\/p>\n<\/td>\n

\n

t Stat<\/i><\/p>\n<\/td>\n

\n

P-valor<\/i><\/p>\n<\/td>\n

\n

Baixar <\/i><\/p>\n

95%<\/i><\/p>\n<\/td>\n

\n

Alto <\/i><\/p>\n

95%<\/i><\/p>\n<\/td>\n<\/tr>\n

\n

Interceptar<\/p>\n<\/td>\n

\n

51.55<\/p>\n<\/td>\n

\n

8.92<\/p>\n<\/td>\n

\n

5.78<\/p>\n<\/td>\n

\n

5.75E-07<\/p>\n<\/td>\n

\n

33.61<\/p>\n<\/td>\n

\n

69.48<\/p>\n<\/td>\n<\/tr>\n

\n

% bacharelado<\/p>\n

ou superior<\/p>\n<\/td>\n

\n

-1.11<\/p>\n<\/td>\n

\n

0.15<\/p>\n<\/td>\n

\n

-7.55<\/p>\n<\/td>\n

\n

1.2E-09<\/p>\n<\/td>\n

\n

-1.41<\/p>\n<\/td>\n

\n

-0.82<\/p>\n<\/td>\n<\/tr>\n

\n

% Branco<\/p>\n<\/td>\n

\n

0.31<\/p>\n<\/td>\n

\n

0.06<\/p>\n<\/td>\n

\n

4.95<\/p>\n<\/td>\n

\n

1.01E-05<\/p>\n<\/td>\n

\n

0.18<\/p>\n<\/td>\n

\n

0.43<\/p>\n<\/td>\n<\/tr>\n

\n

% n\u00e3o segurado<\/p>\n<\/td>\n

\n

0.74<\/p>\n<\/td>\n

\n

0.26<\/p>\n<\/td>\n

\n

2.86<\/p>\n<\/td>\n

\n

0.006319<\/p>\n<\/td>\n

\n

0.22<\/p>\n<\/td>\n

\n

1.26<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

A coluna rotulada \"coeficientes\" fornece os valores estimados para a equa\u00e7\u00e3o de regress\u00e3o que escrevi em posts anteriores. A equa\u00e7\u00e3o atual l\u00ea-se:<\/p>\n

Trunfo % da vota\u00e7\u00e3o = 51,55 - 1,11*(% bacharelado) + 0,31*(% branco) + 0,74*(% n\u00e3o segurado)<\/p>\n

Isto diz que quando todos os covari\u00e1veis s\u00e3o iguais a zero, prev\u00ea-se que Trump tenha 51.55% da vota\u00e7\u00e3o. Para cada aumento de 1% nos bachar\u00e9is do % h\u00e1 uma diminui\u00e7\u00e3o estimada de 1.11% na vota\u00e7\u00e3o do Trump. Para cada 1% de aumento da popula\u00e7\u00e3o branca do % no estado h\u00e1 um aumento estimado de 0,31% e para cada 1% de aumento do % n\u00e3o segurado no estado.<\/p>\n

A coluna rotulada \"erro padr\u00e3o\" \u00e9 uma estimativa da incerteza dos coeficientes. A coluna rotulada \"t stat\" \u00e9 a estat\u00edstica de teste para determinar se os coeficientes s\u00e3o significativamente diferentes de zero. O \"p-valor\" \u00e9 a probabilidade estimada de observar este coeficiente estimado quando o coeficiente verdadeiro \u00e9 zero. Por conven\u00e7\u00e3o, quando o valor p \u00e9 inferior a 0,05, conclu\u00edmos que o coeficiente verdadeiro \u00e9 diferente de zero. As duas \u00faltimas colunas mostram os limites superior e inferior para um intervalo de confian\u00e7a de 95% para um coeficiente. O intervalo de confian\u00e7a diz que 95% do tempo em que as estimativas s\u00e3o feitas, o verdadeiro coeficiente estar\u00e1 entre os limites superior e inferior. Neste caso, se os limites superior e inferior n\u00e3o se sobrep\u00f5em ao n\u00famero zero, isso equivale ao coeficiente ser significativamente diferente de zero.<\/p>\n

\"\"<\/p>\n

O gr\u00e1fico de dispers\u00e3o acima mostra os valores reais (no diamante azul) e previstos (nos quadrados vermelhos) para o % branco e % Trump para o modelo de ajuste para solteiros % e % n\u00e3o segurado. Os valores reais e previstos para o Distrito de Columbia (DC) e Hava\u00ed est\u00e3o muito pr\u00f3ximos um do outro, o que sugere um bom ajuste. Um estado que n\u00e3o se ajusta bem \u00e9 Vermont, onde o voto real para Trump \u00e9 10% inferior ao voto previsto que pode ser visto diretamente acima do diamante azul para Vermont.<\/p>\n

\"\"<\/p>\n

O gr\u00e1fico de dispers\u00e3o para o bacharelado do % ou superior sugere que o ajuste n\u00e3o \u00e9 t\u00e3o bom quanto para o do % branco como o preditor. Isto se reflete no maior erro padr\u00e3o para este preditor (0,15) do que para o % branco (0,06). A previs\u00e3o para DC n\u00e3o \u00e9 t\u00e3o boa para este preditor como \u00e9 para o mais alto. A tend\u00eancia ainda \u00e9 significativa na dire\u00e7\u00e3o negativa.<\/p>\n

\"\"<\/p>\n

O gr\u00e1fico de dispers\u00e3o para o % n\u00e3o segurado como preditor mostra ainda menos apto para o % da Trump da vota\u00e7\u00e3o. DC e Alasca s\u00e3o pontos pouco adequados para este preditor, entre muitos outros estados. O erro padr\u00e3o para este preditor mostra ainda menos apto (0,26) para os outros preditores, embora ainda seja estatisticamente significativo.<\/p>\n

A regress\u00e3o m\u00faltipla \u00e9 uma ferramenta potencialmente poderosa para separar as rela\u00e7\u00f5es entre as vari\u00e1veis preditoras para um resultado espec\u00edfico quando conduzida corretamente. Adicionar os covari\u00e1veis certos, como a ra\u00e7a, pode ajudar a aliviar os efeitos de um outlier, como Washington, DC. \u00c9 sempre melhor incluir todos os dados para dar o quadro mais completo poss\u00edvel.<\/p>\n

Vemos agora que como o % da popula\u00e7\u00e3o de um estado com bacharelado ou superior aumenta o % do voto para Trump diminui. Ao mesmo tempo, como as porcentagens de brancos e n\u00e3o segurados em um estado, aumenta o % do voto para Trump. Na presen\u00e7a dessas vari\u00e1veis, a concentra\u00e7\u00e3o de grupos de \u00f3dio e o % do estado na pobreza n\u00e3o s\u00e3o mais preditores significativos do voto do Trump.<\/p>\n

Enquanto Trump e o congresso controlado pelos Republicanos se preparam para revogar a Lei de Cuidados Acess\u00edveis (ACA ou como o Partido Republicano diz Obamacare), o Escrit\u00f3rio de Or\u00e7amento do Congresso estima que 23 milh\u00f5es de americanos perder\u00e3o seu seguro de sa\u00fade na vers\u00e3o da C\u00e2mara dos Deputados do projeto de lei e um n\u00famero estimado de 22 milh\u00f5es o perder\u00e1 na vers\u00e3o do Senado. Neste modelo, a taxa de n\u00e3o segurados em cada estado est\u00e1 positivamente correlacionada com o voto de Trump. Trump acredita que o aumento da taxa n\u00e3o segurada aumentar\u00e1 sua participa\u00e7\u00e3o no voto em 2020?<\/p>\n

A pobreza n\u00e3o estava associada ao voto do Trump em 2016. A diminui\u00e7\u00e3o das estimativas n\u00e3o seguradas desde que a ACA entrou em vigor em 2014 se deve principalmente \u00e0 expans\u00e3o da Medicaid para os indiv\u00edduos mais pobres e aos subs\u00eddios que permitem aos indiv\u00edduos de menor renda adquirir seguros de sa\u00fade. Aumentar o n\u00famero de n\u00e3o segurados pode n\u00e3o diminuir o voto da Trump, mas \u00e9 pouco prov\u00e1vel que aumente.<\/p>","protected":false},"excerpt":{"rendered":"

This post originally appeared in my column on the site data driven journalism. In my last post I talked about how regression can be a useful tool to tease apart the different relationships between correlational variables. I also talked about how outliers can be problematic. One way of dealing with an outlier is simply to<\/p>\n

Leia mais<\/a><\/div>","protected":false},"author":31,"featured_media":2400,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[247],"tags":[360,175,361,246,362],"acf":[],"yoast_head":"\nHow to Correct Outliers in Regression Models: An analysis of Trump's vote<\/title>\n<meta name=\"description\" content=\"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"How to Correct Outliers in Regression Models: An example with race, education, and the uninsured on Trump\u2019s vote\" \/>\n<meta property=\"og:description\" content=\"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/\" \/>\n<meta property=\"og:site_name\" content=\"The Kolabtree Blog\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/kolabtree\" \/>\n<meta property=\"article:published_time\" content=\"2017-08-10T17:28:14+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2017-08-14T10:11:42+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.kolabtree.com\/blog\/wp-content\/uploads\/2017\/08\/donald-2147250_1280-1.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1280\" \/>\n\t<meta property=\"og:image:height\" content=\"853\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Paul Ricci\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@CSIwoDB\" \/>\n<meta name=\"twitter:site\" content=\"@kolabtree\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Paul Ricci\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. tempo de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"5 minutos\" \/>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"How to Correct Outliers in Regression Models: An analysis of Trump's vote","description":"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/","og_locale":"pt_BR","og_type":"article","og_title":"How to Correct Outliers in Regression Models: An example with race, education, and the uninsured on Trump\u2019s vote","og_description":"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models","og_url":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/","og_site_name":"The Kolabtree Blog","article_publisher":"https:\/\/www.facebook.com\/kolabtree","article_published_time":"2017-08-10T17:28:14+00:00","article_modified_time":"2017-08-14T10:11:42+00:00","og_image":[{"width":1280,"height":853,"url":"https:\/\/www.kolabtree.com\/blog\/wp-content\/uploads\/2017\/08\/donald-2147250_1280-1.jpg","type":"image\/jpeg"}],"author":"Paul Ricci","twitter_card":"summary_large_image","twitter_creator":"@CSIwoDB","twitter_site":"@kolabtree","twitter_misc":{"Escrito por":"Paul Ricci","Est. tempo de leitura":"5 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/#article","isPartOf":{"@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/"},"author":{"name":"Paul Ricci","@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/person\/d3ae828656a4c84a3a1b7cdba371820f"},"headline":"How to Correct Outliers in Regression Models: An example with race, education, and the uninsured on Trump\u2019s vote","datePublished":"2017-08-10T17:28:14+00:00","dateModified":"2017-08-14T10:11:42+00:00","mainEntityOfPage":{"@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/"},"wordCount":1063,"commentCount":0,"publisher":{"@id":"https:\/\/www.kolabtree.com\/blog\/#organization"},"keywords":["analytics","Data Science","statistics","trump","US elections"],"articleSection":["Guest posts"],"inLanguage":"pt-BR","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/","url":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/","name":"How to Correct Outliers in Regression Models: An analysis of Trump's vote","isPartOf":{"@id":"https:\/\/www.kolabtree.com\/blog\/#website"},"datePublished":"2017-08-10T17:28:14+00:00","dateModified":"2017-08-14T10:11:42+00:00","description":"Using Trump's vote as an example, Paul Ricci writes about how introducing the right covariate can correct for outliers in regression models","breadcrumb":{"@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.kolabtree.com\/blog\/pt\/correct-outliers-regression-trumps-vote\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.kolabtree.com\/blog\/"},{"@type":"ListItem","position":2,"name":"How to Correct Outliers in Regression Models: An example with race, education, and the uninsured on Trump\u2019s vote"}]},{"@type":"WebSite","@id":"https:\/\/www.kolabtree.com\/blog\/#website","url":"https:\/\/www.kolabtree.com\/blog\/","name":"The Kolabtree Blog","description":"Expert Views on Science, Innovation and Product Development","publisher":{"@id":"https:\/\/www.kolabtree.com\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.kolabtree.com\/blog\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"pt-BR"},{"@type":"Organization","@id":"https:\/\/www.kolabtree.com\/blog\/#organization","name":"Kolabtree","url":"https:\/\/www.kolabtree.com\/blog\/","logo":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/logo\/image\/","url":"","contentUrl":"","caption":"Kolabtree"},"image":{"@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/kolabtree","https:\/\/twitter.com\/kolabtree","https:\/\/instagram.com\/kolabtree","https:\/\/www.linkedin.com\/company\/kolabtree","https:\/\/en.m.wikipedia.org\/wiki\/Kolabtree"]},{"@type":"Person","@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/person\/d3ae828656a4c84a3a1b7cdba371820f","name":"Paul Ricci","image":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/www.kolabtree.com\/blog\/#\/schema\/person\/image\/","url":"https:\/\/www.kolabtree.com\/blog\/wp-content\/uploads\/2017\/08\/Race-4-the-Cure-006-96x96.jpg","contentUrl":"https:\/\/www.kolabtree.com\/blog\/wp-content\/uploads\/2017\/08\/Race-4-the-Cure-006-96x96.jpg","caption":"Paul Ricci"},"description":"Paul Ricci is a statistician, neuropsychologist and data analyst based in the USA. He writes a regular column for the website Data Driven Journalism and has an MA in Research Methodology and Neuroscience, and an MS in Biostatistics.","sameAs":["https:\/\/csiwodeadbodies.blogspot.com\/","https:\/\/twitter.com\/@CSIwoDB"],"url":"https:\/\/www.kolabtree.com\/blog\/pt\/author\/paul-ricci\/"}]}},"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/posts\/2374"}],"collection":[{"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/users\/31"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/comments?post=2374"}],"version-history":[{"count":7,"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/posts\/2374\/revisions"}],"predecessor-version":[{"id":2401,"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/posts\/2374\/revisions\/2401"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/media\/2400"}],"wp:attachment":[{"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/media?parent=2374"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/categories?post=2374"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kolabtree.com\/blog\/pt\/wp-json\/wp\/v2\/tags?post=2374"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}