# data[].attributes.attachment_caption
Prof. Alexandri Gori Maia || Innstituto de economia - UNICAMP

# data[].attributes.body
A regressão quantilica é usada quando se quer obter estimativas de diferentes quantis de uma população

# data[].attributes.headline
Uso da regressão de Cox para estimar fatores associados a óbito neonatal em UTI privada

# data[].attributes.subject
Uso da regressão de Cox para estimar fatores associados a óbito neonatal em UTI privada

# data[].attributes.headline
Para entender o que é Regressão de Poisson

# data[].attributes.subject
Para entender o que é Regressão de Poisson

# data[].attributes.headline
A regressão de Poisson é usada quando queremos projetar o valor de uma variável de resultado calculada à partir de dados de contagem ou tabelas de contingências. Estas variáveis contabilizadas através da contagem de elementos. Já as variáveis preditoras podem ser de qualquer tipo (contínuas, binárias, categóricas, etc.).

# data[].attributes.subject
A regressão de Poisson é usada quando queremos projetar o valor de uma variável de resultado calculada à partir de dados de contagem ou tabelas de contingências. Estas variáveis contabilizadas através da contagem de elementos. Já as variáveis preditoras podem ser de qualquer tipo (contínuas, binárias, categóricas, etc.).

# data[].attributes.body
Esta regressão tem recebido mais atenção pois entrega uma análise estatística mais completa com variáveis aleatórias

# data[].attributes.headline
Tese de Doutorado que aborda o modelo de Regressão binomial negativa

# data[].attributes.subject
Tese de Doutorado que aborda o modelo de Regressão binomial negativa

# data[].attributes.attachment_link.readable_text
Para que fosse possível realizar a análise por meio do modelo logit, dividiram-se os produtores em dois grupos, sendo que as variáveis explicam a participação do produtor nos grupos mais e menos sustentáveis. Com o intuito de aprimorar a explicação para a adoção de PIS entre os olericultores da região serrana fluminense, buscou-se realizar uma análise de regressão que considerasse a real pontuação obtida por cada olericultor na variável dependente, conforme já estabelecida no indicador construído. Nesse sentido, optou-se por utilizar a regressão binomial negativa.

A regressão de Poisson e a regressão binomial negativa fazem parte dos modelos de regressão para dados de contagem, esses são especialmente uteis em casos onde a variável dependente se apresenta de forma quantitativa, porém com valores discretos e não negativos, que são as características do indicador proposto. Esse modelo tem como objetivo principal estudar o comportamento de uma variável dependente Y (GUAJARATI; PORTER, 2011).

Fávero (2015) salienta que o ponto inicial para o estudo dos modelos de regressão para dados de contagem é a distribuição de Poisson, que para uma determinada observação 𝑖 (𝑖 = 1,2,...., 𝑛, em que 𝑛 é o tamanho da amostra) em uma determinada exposição (podendo essa, ser um período, uma área, uma região, entre outros), possui a seguinte probabilidade de ocorrência em uma contagem 𝑚:

𝑝(𝑌𝑖) = 𝑒

𝑚! , 𝑚 = 0,1,2, ... ..

Onde λ é o número esperado de ocorrências ou a taxa média de incidência do fenômeno estudado para uma dada exposição, denominadas em inglês de incidence rate ratio

(IRR).

Em geral, quando se trabalha com dados de contagem, é comum iniciar a estimação dos parâmetros por meio de uma regressão de Poisson. Para realizar esse tipo de regressão, a variável dependente deve assumir uma distribuição de Poisson. Todavia, para que seja possível seguir com a regressão de Poisson, a média e a variância da variável dependente devem ser iguais. Caso esta propriedade, conhecida como equidispersão da distribuição, não

seja atendida, devem ser utilizados modelos de regressão binomial negativa. Ambos os métodos utilizam-se da teoria da quase-verossimilhança para estimar os parâmetros (FAVERO et al., 2015).

A distribuição binomial negativa é também conhecida como distribuição Poisson- gama, por se tratar de uma combinação dessas duas distribuições. Essas são geralmente utilizadas quando é necessário considerar o fenômeno da superdispersão, esse é comumente encontrado em casos onde se observam dados contáveis (RAMALHO, 1996). Para a presente pesquisa, utiliza-se uma variante desse modelo, denominada regressão binomial negativa com truncamento em zero. Isso ocorre, porque o indicador construído possui somente dados de contagem positivos, ou seja, não é possível observar o valor zero, uma vez que algumas variáveis que compõe o indicador não podem ser pontuadas em zero.

Para estimar o modelo binomial negativo truncado, deve-se incialmente analisar a distribuição da frequência dos dados da variável dependente, no caso específico, as pontuações atribuídas aos olericultores, conforme o indicador proposto na seção 5.3. Com o intuito de analisar, ainda que preliminarmente, a superdisperção dos dados elaborou-se um histograma com a distribuição da variável dependente, esse é apresentado no Figura 5.

Figura 5: Histograma da variável dependente

Fonte: Elaborado pelo autor a partir dos dados da pesquisa de campo

0 .1 .2 .3 D en si ty 20 40 60 80 100 pontuaçãonoindicador

Em uma primeira análise é possível notar uma calda relativamente longa dos dados de contagem, que é um primeiro indício de superdisperção. Segundo Favero (2015) para esses casos recomenda-se calcular a média e a variância da variável dependente. Essas devem ser iguais para que se confirmem uma distribuição de Poisson, tais dados são apresentados na Tabela 5.

Tabela 5: Média e variância da variável dependente indicador

Indicador 49,71 160,97

Fonte: Elaborado pelo autor a parir dos dados da pesquisa de campo

Conforme pode ser observado na Tabela 5, a variância é mais do que 3 vezes o valor da média, o que é mais um indício de superdispersão. No entanto, Favero (2015) salienta que toda modelagem em que a variável dependente apresenta dados de contagem, a estimação deve partir de um modelo de Poisson. Desta forma, estimou-se incialmente um modelo de regressão de Poisson (Apêndice C), e, posteriormente realizou-se o teste proposto por Cameron e Trivedi (1990) para verificação da existência de superdisperção nos dados da variável dependente. Esse teste é utilizado para especificar a relação entre a média e a variância de uma variável dependente, sob uma hipótese alternativa. Considera-se a hipótese nula (𝐻0) quando a média e a variância são iguais, a hipótese alternativa (𝐻1), por sua vez, é considerada quando a média e a variância não são iguais. Os dados obtidos por meio da realização desse teste encontram-se na Tabela 6.

Tabela 6: Resultado do teste para verificação de superdispersão

Source SS df MS Number of obs = 213 F(1, 212) = 1275.41 Prob > F = 0.0000 R-squared = 0.8575 Adj R-squared = 0.8568 Root MSE = 21.039 Model 564529.794 1 564529.794 Residual 93836.7296 212 442.626083 Total 658366.524 213 3090.92265

yasterisco Coef Std. Err. t P>(t) 95% Conf Conf. Interval

Lambda 1.02669 .0287485 35.71 0.000 .9700209 1.08336

Fonte: Elaborado pelo autor a partir dos dados da pesquisa de campo

Como pode ser observado na Tabela 6, o parâmetro β da variável lambda é estatisticamente significativo ao nível de significância de 5%. Nesse caso, pode-se concluir que a variável dependente possui superdisperção, rejeitando, portanto, a hipótese nula. Essa

situação pode ainda ser comprovada, quando se realiza o teste 𝑋2 para comparar as distribuições de probabilidade observadas e previstas. O resultado desse teste encontra-se na Tabela 7. Esse indica a inexistência de qualidade do modelo de Poisson, pois existem diferenças estatisticamente significativas entre os valores previstos e observados.

Tabela 7: Verificação da qualidade de ajuste do modelo da regressão de Poisson estimada

Fonte: Elaborado pelo autor a partir dos dados da pesquisa de campo

Devido às evidências encontradas de que há superdisperção entre os dados da variável dependente indicador, pode-se finalmente estimar um modelo de regressão binomial negativo truncado. O modelo inicial e o modelo ajustado, bem com a análise dos resultados são apresentados na sessão 5.4.

4.5 VARIÁVEIS EXPLICATIVAS, ESCALAS UTILIZADAS E RELAÇÃO ESPERADA.

Para a explicação do nível de adoção das práticas de intensificação sustentável descritas na seção 2.3, utilizaram-se variáveis independentes que podem estar relacionadas com o desenvolvimento de capacidades e recursos. O Quadro 7 apresenta as variáveis utilizadas na estimação dos modelos e nos testes das hipóteses, bem como a relação esperada para a adoção de PIS.

Pearson goodness-of-fit 1715.513 Prob > chi2(188) Prob > 0.0000

Quadro 7: Descrição das variáveis explicativas, escalas utilizadas e relação esperada Variáveis explicativas Descrição Escala/ pontos Relação

esperada Descrição da relação esperada

Decisão de plantio

Assume valor 1 se o produtor consulta seu comprador para decidir o que vai plantar e valor 0 caso contrário.

0, 1 +

Espera-se que o produtor que tenha contato mais próximo com o comprador possa tomar decisões mais adequadas para melhor alocar seus recursos e atender a

demanda.

Adiant. insumos

Assume valor 1 se o comprador oferece como vantagem o fornecimento de insumos de forma antecipada, e valor 0 caso contrário.

0,1 +/-

Espera-se que o adiantamento em insumos pode se tornar uma forma de financiamento, melhorando o processo e garantindo um mercado ao produtor

facilitando a adoção de PIS.

Adiant. Dinheiro

Assume valor 1 se o comprador oferece dinheiro de forma antecipada, e valor 0 caso contrário.

0, 1 -

Espera se que o produtor que receba dinheiro antecipadamente pela produção, fique limitado a atender o comprador que lhe forneceu antecipadamente recursos financeiros, isso poderia impactar nas escolhas dos produtores, bem como na

melhoria dos recursos necessários para a adoção PIS.

Assume valor 1 o produtor que trabalha por conta própria e valor 0 se trabalha como meeiro/parceiro

0, 1 +/-

Todos os produtores entrevistados trabalham por conta própria ou em parceria, ainda que outras opções estivessem disponíveis no questionário. Espera-se que os que

trabalham por conta própria adotem mais PIS.

Acesso a crédito Assume valor 1 o produtor que possui

financiamento, e valor 0 caso contrário. 0, 1 +

Espera-se que o acesso a crédito formal, como o PRONAF, facilite investimentos que possibilitem maior adoção de PIS

Certificação

Assume valor 1 o produtor que possui certificação da produção, e valor 0 caso contrário

0, 1 + Espera-se que o produtor que tenha algum processo de certificação, tenha obtido melhorias no processo, aumentando a adoção de PIS.

Assume valor 1 o produtor que recebe assistência governamental, e 0 caso contrário

0, 1 +

Espera-se que a presença de assistência técnica forneça capacidades externas que suportem a melhoria do processo e a alocação dos recursos, no sentido de adotar

mais PIS.

Assume valor 1 o produtor que recebe assistência técnica de cooperativa, valor 0 caso contrário.

0, 1 +

Espera-se que a presença de assistência técnica forneça capacidades externas que suportem a melhoria do processo e a alocação dos recursos, no sentido de adotar

mais PIS.

Assume valor 1 o produtor que possui assistência técnica própria, e valor 0 caso contrário

0, 1 +

Espera-se que a presença de assistência técnica forneça capacidades externas que suportem a melhoria do processo e a alocação dos recursos, no sentido de adotar

mais PIS.

Assume valor 1 o produtor que participa de cursos de irrigação e valor 0 caso contrário

0, 1 +

Espera-se que o produtor que participa de cursos de irrigação e cultivo adquiram conhecimentos que os permitam melhores escolhas organizacionais e propiciem

alterações do uso de recursos e facilitem a adoção de PIS

Curso de gestão

Assume valor 1 o produtor que participa de cursos de gestão e valor 0 caso contrário.

0, 1 +

Espera-se que o produtor que participa de cursos de gestão adquiram conhecimentos que os permitam melhores escolhas organizacionais e propiciem alterações do uso

de recursos e facilitem a adoção de PIS

Assume valor 1 o produtor que participa de palestras e dias de campo, e valor 0 caso contrário

0, 1 +

Espera-se que a participação do produtor em palestras e dias de campo, possibilite a obtenção de informações e geração de conhecimentos, que propiciem melhorias no processo, que permitam melhor alocação dos recursos e a consequente adoção de

PIS.

Assume valor 1 o produtor que participa

de associação, e valor 0 caso contrário. 0, 1 +

Espera-se que a participação do olericultor em associações de produtores, permita que obtenha mais informações que possam melhorar as escolhas organizacionais e

facilitar o processo de adoção PIS.

Assume valor 1 o produtor que participa

de cooperativas, e valor 0 caso contrário 0, 1 +

Espera-se que a participação do olericultor em associações de produtores, permita que esse obtenha mais informações que possam melhorar as escolhas

organizacionais e facilitar o processo de adoção PIS.

Assume valor 1 o produtor que possui rendas não oriundas da atividade, e valor 0 caso contrário

0, 1 - Espera-se que rendas externas a atividade agrícola favoreçam a alocação de recursos para a adoção de PIS.

Controle

Assume valor 1 o produtor que anota corretamente suas despesas relacionadas a atividade, e 0 caso contrário

0, 1 +

Espera-se que o produtor que anota corretamente suas despesas relacionadas à atividade, tenha mais capacidade para melhorar o processo, alocar melhor seus recursos e adotar mais PIS.

Comercialização

Assume valor 1 o produtor que comercializa com outros canais, e assume valor 0 os produtores que comercializam apenas com intermediários.

0, 1 +

Espera-se que os produtores que tenham canais alternativos de comercialização, tais como, supermercados, varejistas, feiras livres, tenham maior probabilidade de adotar PIS.

Assume valor 0, o produtor cuja renda agrícola é inferior a R$ 10.000,00. Assume valor 1, produtores com renda situada entre R$ 10.001,00 e R$20.000,00. Assume valor 2, produtores com renda agrícola entre R$ 20.001,00 e R$30.000,00. Assume valor 3 produtores com renda agrícola entre R$ 30.001,00 e R$50.000,00. Assume valor 4, produtores que possuem renda agrícola acima de R$ 50.000

0, 1, 2, 3, 4 + Espera-se que a renda oriunda da agricultura melhore a disponibilidade e a alocação de recursos para a adoção de PIS.

Assume valor 0 o produtor que tem patrimônio produtivo inferior a R$ 10.000,00. Assume valor 1 o produtor cujo patrimônio produtivo situa-se entre R$ 10.001,00 e R$20.000,00. Assume valor 2 o produtor cujo patrimônio produtivo situa-se entre R$ 20.001,00 e R$30.000,00. Assume valor 3 o produtor cujo patrimônio produtivo situa-se entre R$ 30.001,00 e R$50.000,00. Assume-se valor 4 o produtor cujo patrimônio produtivo é superior a R$ 50.001,00.

0, 1, 2, 3, 4 +

Espera-se que quanto maior o patrimônio produtivo melhor serão as possibilidades de alteração nos processos, e de melhoria na posição dos recursos para possibilitar a adoção de PIS.

Assume valor 0 o produtor cujo investimento no período foi no máximo de R$ 10.000,00. Assume valor 1, o produtor cujo investimento no período situou-se entre R$ 10.001,00 2 R$ 20.000,00. Assume valor 2, o produtor cujo investimento no período situou-se entre R$ 20.001,00 2 R$ 30.000,00. Assume valor 3, o produtor cujo investimento no período situou-se entre R$ 30.001,00 2 R$ 50.000,00. Assume valor 4, o produtor cujo investimento no período foi acima de R$ 50.000,00.

0, 1, 2, 3, 4 +

Espera-se que um maior o nível de investimento, possa significar uma tendência de escolhas organizacionais voltadas, para a melhorias dos ativos, que podem permitir maior adoção de PIS.

Assume valor 0 o produtor não tem área própria. Assume valor 1 o produtor cuja área própria é de até 1 há. Assume valor 2 o produtor cuja área própria situa-se entre 1,1 e 5 há. Assume valor 3 o produtor cuja área própria situa-se entre 5,1 e 10 há. Assume valor 4 o produtor que possui área própria acima de 10,1 há

0, 1, 2, 3, 4 +

Espera-se que áreas próprias maiores, representem maior disponibilidade de recurso, aumentando a adoção de PIS.

Assume valor 0 o produtor que negocia com o comprador a menos de 1 ano. Assume valor 1 o produtor que negocia com o comprador a 2 e 3 anos. Assume valor 2 o produtor que negocia com o comprador entre 4 e 5 anos. Assume valor 3 o produtor que negocia com o comprador a 6 e 10 anos. Assume valor 4 o produtor que negocia com o comprador a mais de 10 anos

0, 1, 2, 3, 4 - Espera-se que uma relação longa entre produtor e comprador poderia estabelecer uma relação de confiança, possibilitando maior adoção de PIS .

Idade

Assume valor 0 o produtor tem menos de 30 anos. Assume valor 1 o produtor com idade entre 31 e 40 anos. Assume valor 2 o produtor com idade entre 41 e 50 anos. Assume valor 3 o produtor com idade entre 51 e 60 anos. Assume valor 4 o produtor tem idade superior a 60 anos

0, 1, 2, 3, 4 +/-

Espera-se por um lado que os produtores com mais idade possam ser mais experientes e conhecer melhor os benefícios das PIS. Por outro lado, é possível que produtores mais com mais idade tenham mais receio em inovações de processos que poderiam permitir mais adoção de PIS.

Escolaridade

Assume valor 0 o produtor não tem instrução. Assume valor 1 o produtor que estudou até o 5º ano fundamental. Assume valor 2 o produtor estudou até o 8º ano fundamental. Assume valor 3 o produtor estudou até o ensino médio. Assume valor 4 o produtor estudou até o ensino superior

0, 1, 2, 3, 4 +

Espera-se que os produtores que tenham maior nível de escolaridade, possam estar mais preparados para assimilar conhecimentos que melhorem o processo de produção, e consequentemente a adoção de PIS.

# data[].attributes.attachment_link.title
Modelo de Regressão binomial negativa - MÉTODOS ESTATÍSTICOS PARA ANÁLISE DOS DADOS

# data[].attributes.attachment_link.description
Para que fosse possível realizar a análise por meio do modelo logit, dividiram-se os produtores em dois grupos, sendo que as variáveis explicam a participação do produtor nos grupos mais e menos sustentáveis.

# data[].attributes.attachment_link.readable_text
O modelo de regressão de Cox foi ajustado a variável tempo até o aluno ser cancelado, tendo como covariáveis: curso, sexo, tipo de vaga concorrida e o tipo de escola. A regressão de Cox foi aplicada com o intuito de verificar a relação entre as variáveis, o resultado está apresentado na tabela 4.8.

Tabela 4. 8 -Estimativas obtidas para a regressão de Cox ajustados aos dados dos discentes cancelados

Inf Sup Curso -0.1521 0.8589 0.6793 1.086 0.204 Sexo 0.2116 1.2356 1.003 1.522 0.047 * Vaga -0.1056 0.8997 0.7241 1.118 0.3403 0.3783 1.4598 1.0160 2.097 0.0408 * Escola 0.1369 1.1467 0.9362 1.405 0.186

Fonte: Esta pesquisa (2018)

Para verificar a existência de significâncias dos betas entre as variáveis, basta observar se o valor 1 pertence ao intervalo de confiança estimado. Sendo assim, de acordo com a tabela 4.8 pode-se notar que não há significâncias entre os estudantes dos cursos do BCET e ESA e o tipo de vaga em comparação com os discentes que optaram por ampla concorrência e cotas raciais, em outra vaga percebe-se que há significância.

De acordo com o sexo, percebe-se que por ser homem aumenta a chance em 23% de ser cancelado entre os evadidos.

Ao comparar os discentes que ingressaram por cotas raciais e o que entrou por ter estudado o ensino médio em escola pública, nota-se que o estudante que estudou em escola pública a chance de ser cancelado é de em aproximadamente 46%.

Com respeito a variável tipo de escola que estudou no 2º grau, o discente que é oriundo de escola pública aumenta a chance em 14% de ser cancelado em comparação com o discente proveniente de escola privada.

Tabela 4. 9 -Estimativas obtidas para a regressão de Cox ajustados as covariáveis com significâncias

Sexo 0.2116 1.2356 1.003 1.522 0.047 *

Vaga 0.3783 1.4598 1.0160 2.097 0.0408 *

5 CONCLUSÕES

O principal objetivo deste estudo foi caracterizar a evasão dos cursos do Centro de Ciências Exatas e Tecnológicas UFRB, visto que os fatores explicativos para a evasão podem ser distintos de acordo com cada universidade, pois cada uma possuem suas peculiaridades.

Dentre os dados dos evadidos, há os desistentes e cancelados. Na análise de sobrevivência trabalhou-se com o cancelamento sendo o evento de interesse, pois são desconhecidos os motivos das desistências e devido aos dados disponibilizados ter poucas informações, determinar os possíveis fatores através desta técnica seria inviável, além dos resultados ser considerados incertos. Já os cancelamentos, por ser uma medida institucional é possível saber as possíveis causas do cancelamento de acordo com o regimento, logo através deste trabalho é possível buscar medidas preventivas para tal ocorrência.

Com a análise descritiva dos dados foi possível concluir que o CETEC possui uma taxa alta de evasão, em relação aos outros centros; que possui poucos formandos em relação a quantidade de alunos ingressantes. A evasão é maior no curso do BCET em relação ao ESA e para discentes do sexo masculino, já que existe predominância masculina nos cursos do BCET. A quantidade de alunos cancelados é tão alta quanto a de alunos desistentes e a evasão é maior para estudantes oriundos de escola pública e para os ingressantes que concorreram pela modalidade de vaga em ampla concorrência.

Com os resultados da análise de sobrevivência, obteve que os discentes do curso do BCET possuem uma probabilidade um pouco maior de ser cancelados primeiro do que os dos ESA. De acordo com o sexo, o cancelamento para as mulheres ocorre um pouco mais tarde em relação aos homens e os discentes que estudaram em escola pública no ensino médio são cancelados primeiro, logo no quarto semestre, metade dos alunos foram cancelados. Na regressão de Cox, foi constatado que o sexo masculino possui um risco maior de ser cancelados, aumenta em 24% e o que estudou em escola pública as chances aumenta em 15% em relação ao discente que estudou em escola particular.

Conclui-se assim que o perfil do discente cancelado no Centro de Ciências Exatas e Tecnológicas é de um discente do curso do BCET, do sexo masculino e oriundo de escola pública e no quarto semestre. em que momento ocorre este cancelamento.

Esses achados servirão para auxiliar numa tomada de decisões que permita a diminuição da evasão no Centro e consequentemente na UFRB. Sendo possível essa diminuição através de procedimentos institucionais que favoreça o acompanhamento pedagógico e acadêmico.

Logo, é de extrema importância cada universidade e cada centro estudar e caracterizar a evasão, pois assim, é possível buscar soluções e políticas para a diminuição da mesma, já que sua ocorrência significa vários danos para a universidade como um todo.

CONSIDERAÇÃO FINAL

Por consequência do banco de dados disponibilizado ter apenas as informações de discentes evadidos, o estudo da evasão não obteve dados tão preciso, pois para caracterizar por completo a evasão por meio da técnica aplicada é necessário um banco do fluxo universitário completo, ou seja, de ingressos, evadidos, formandos, retidos, entre outras informações. Ressaltando que com as informações necessárias, esse estudo poderia ser de grande importância para a universidade.

APÊNDICE ########################################################################## # PROGRAMA EXECUTADO NO R # ########################################################################## ############################## Análise evasão ############################## require(fBasics) require(survival) require(graphics) ############################## 1. Leitura do Arquivo ##########################

Banco_Eva<-read.table("C:/Banco/Banco 05.txt", header=TRUE, sep="") Banco_Eva summary(Banco_Eva) Banco_Eva$CURSO1<-as.factor(Banco_Eva$CURSO) Banco_Eva$MOTIVO_EVA1<-as.factor(Banco_Eva$MOTIVO_EVA) Banco_Eva$GENERO1<-as.factor(Banco_Eva$GENERO) Banco_Eva$COTAS_ENT1<-as.factor(Banco_Eva$COTAS_ENT) Banco_Eva$ENSINO_MÉDIO1<-as.factor(Banco_Eva$ENSINO_MÉDIO) summary(Banco_Eva) summary(Banco_Eva$TEMPO) summary(Banco_Eva$TEMPO[Banco_Eva$CURSO==1]) summary(Banco_Eva$TEMPO[Banco_Eva$CURSO==2]) sd(Banco_Eva$TEMPO) sd(Banco_Eva$TEMPO[Banco_Eva$CURSO==1]) sd(Banco_Eva$TEMPO[Banco_Eva$CURSO==2]) ############################## 2. Gráficos ##################################

pie(table(Banco_Eva$CURSO1),labels=c("BCET","ESA"),main="Gráfico de setores: Cursos") text(locator(n=1), paste(round(prop.table(table(Banco_Eva$CURSO1))[1], digits=2)*100,"%")) text(locator(n=1), paste(round(prop.table(table(Banco_Eva$CURSO1))[2], digits=2)*100,"%")) pie(table(Banco_Eva$GENERO1),labels=c("MULHER","HOMEM"),main="Gráfico de setores: Sexos") text(locator(n=1), paste(round(prop.table(table(Banco_Eva$GENERO1))[1], digits=2)*100,"%")) text(locator(n=1), paste(round(prop.table(table(Banco_Eva$GENERO1))[2], digits=2)*100,"%")) pie(table(Banco_Eva$MOTIVO_EVA1),labels=c("DESISTENTES","CANCELADOS"),main=" Gráfico de setores: Motivo")

text(locator(n=1), paste(round(prop.table(table(Banco_Eva$MOTIVO_EVA1))[1], digits=2)*100,"%")) text(locator(n=1), paste(round(prop.table(table(Banco_Eva$MOTIVO_EVA1))[2], digits=2)*100,"%")) pie(table(Banco_Eva$COTAS_ENT1),labels=c("Ampla Concorrência","Cotas Raciais","Escola Pública"),main="Gráfico de setores: Vagas")

text(locator(n=1), paste(round(prop.table(table(Banco_Eva$COTAS_ENT1))[1], digits=2)*100,"%")) text(locator(n=1), paste(round(prop.table(table(Banco_Eva$COTAS_ENT1))[2], digits=2)*100,"%")) text(locator(n=1), paste(round(prop.table(table(Banco_Eva$COTAS_ENT1))[3],

digits=2)*100,"%"))

pie(table(Banco_Eva$ENSINO_MÉDIO1),labels=c("PARTICULAR","PÚBLICO"),main="Gráfi co de setores: Ensino Médio")

text(locator(n=1), paste(round(prop.table(table(Banco_Eva$ENSINO_MÉDIO1))[1], digits=2)*100,"%")) text(locator(n=1), paste(round(prop.table(table(Banco_Eva$ENSINO_MÉDIO1))[2], digits=2)*100,"%")) ######################### 3. Estimador de Kaplan-Meier ######################## Banco_Eva$censura<-rep(1, times=length(Banco_Eva$MOTIVO_EVA)) Banco_Eva$censura[Banco_Eva$MOTIVO_EVA==1]=0 head(Banco_Eva) ekm_CURSO1<- survfit(Surv(Banco_Eva$TEMPO,Banco_Eva$censura)~Banco_Eva$CURSO1) summary(ekm_CURSO1)

plot(ekm_CURSO1, lty=c(2,1), xlab="Tempo (semestre)",ylab="S(t) estimada") legend(1,0.3,lty=c(2,1),c("BCET","ESA"),lwd=1, bty="n")

ekm_GENERO1<-

survfit(Surv(Banco_Eva$TEMPO,Banco_Eva$censura)~Banco_Eva$GENERO1) summary(ekm_GENERO1)

plot(ekm_GENERO1, lty=c(2,1), xlab="Tempo (semestre)",ylab="S(t) estimada") legend(1,0.3,lty=c(2,1),c("Homem","Mulher"),lwd=1, bty="n")

ekm_MOTIVO_EVA1<-

survfit(Surv(Banco_Eva$TEMPO,Banco_Eva$censura)~Banco_Eva$MOTIVO_EVA1) summary(ekm_MOTIVO_EVA1)

plot(ekm_MOTIVO_EVA1, lty=c(2,1), xlab="Tempo (semestre)",ylab="S(t) estimada") legend(1,0.3,lty=c(2,1),c("Desistente","Cancelado"),lwd=1, bty="n")

ekm_COTAS_ENT1<-

survfit(Surv(Banco_Eva$TEMPO,Banco_Eva$censura)~Banco_Eva$COTAS_ENT1) summary(ekm_COTAS_ENT1)

plot(ekm_COTAS_ENT1, lty=c(2,1,3), xlab="Tempo (semestre)",ylab="S(t) estimada") legend(1,0.3,lty=c(2,1,3),c("Ampla Concorrência","Cotas Raciais","Escola pública"),lwd=1, bty="n")

ekm_ENSINO_MÉDIO1<-

survfit(Surv(Banco_Eva$TEMPO,Banco_Eva$censura)~Banco_Eva$ENSINO_MÉDIO1) summary(ekm_ENSINO_MÉDIO1)

plot(ekm_ENSINO_MÉDIO1, lty=c(2,1), xlab="Tempo (semestre)",ylab="S(t) estimada") legend(1,0.3,lty=c(2,1),c("Particular","Publica"),lwd=1, bty="n") ########################### 4. Regressão de Cox ############################# fit<-coxph(Surv(Banco_Eva$TEMPO,Banco_Eva$censura) ~ factor(Banco_Eva$CURSO1), data=Banco_Eva,x = T, method="breslow") summary(fit) fit$loglik fit2<-coxph(Surv(Banco_Eva$TEMPO,Banco_Eva$censura) ~

factor(Banco_Eva$GENERO1), data=Banco_Eva,x = T, method="breslow") summary(fit2)

fit2$loglik

fit3<-coxph(Surv(Banco_Eva$TEMPO,Banco_Eva$censura) ~

factor(Banco_Eva$COTAS_ENT1), data=Banco_Eva,x = T, method="breslow") summary(fit3)

fit3$loglik

fit4<-coxph(Surv(Banco_Eva$TEMPO,Banco_Eva$censura) ~

factor(Banco_Eva$ENSINO_MÉDIO1), data=Banco_Eva,x = T, method="breslow") summary(fit4)

REFERÊNCIAS BIBLIOGRÁFICAS

ALMEIDA, E. P.; VELOSO, T. C.M. A. Evasão nos cursos de graduação da Universidade Federal de Mato Grosso, campus universitário de Cuiabá: Um processo de exclusão. Cuiabá: UFMT. 2002.

ALVES, T. W.; ALVES, V. V. Fatores determinantes da evasão universitária: uma análise a partir dos alunos da UNISINOS. Contextus - Revista Contemporânea de Economia e Gestão, v. 10, n. 2, p. 115-129, 2012.

BASTOS, J.; ROCHA, C. Análise de Sobrevivência: Conceitos Básicos. ArquiMed, v.20, n.5-6, Porto, set., 2006.

BIAZUS, Cleber Augusto. Sistema de Fatores que influenciam o aluno a evadir-se dos Cursos de Graduação na UFSM e na UFSC: um estudo no curso de Ciências Contábeis. 2004. Tese (Doutorado em Engenharia de produção). UFSC, Florianópolis.

BOTELHO, F.; SILVA, C.; CRUZ, F. Epidemiologia explicada-análise de sobrevivência. 2009. Acta Urológica 26; 4: 33-38, 2009. Disponível em: <http://www.apurologia.pt/acta/4-2009/epidem-explic.pdf>. Acesso em: 07 de Jul. 2018.

CAMPOS, Jansen Dodô da Silva. Fatores explicativos para a evasão no ensino superior através da análise de Sobrevivência: o caso da UFPE. 2016. Dissertação (Mestrado em pesquisa Operacional) - Programa de pós-graduação em Engenharia de Produção UFPE, Pernambuco.

CARVALHO, M. S., ANDREOZZI, V. L., CODECO, C, T., BARBOSA, M. T. S. & SHIMAKURA, S. E. Análise de Sobrevivência: teoria e aplicações em saúde, 2.ed. Rio de janeiro: Fiocruz, 2011.

COLOSIMO, E. A.; GIOLO, S.R. Análise de Sobrevivência Aplicada. 1.ed. São Paulo: Edgard Blucher, 2006.

COX, D.R. Regression Models and Life Tables.Journal Royal Statistical Society, Series B, v.34, n.2, p.187-220, 1972.

HIPOLITO, Oscar. Índice de evasão no ensino superior do Brasil é de cerca de

21%. 2015. Disponível em <

http://noticias.universia.com.br/destaque/noticia/2015/10/06/1132040/indice-evasao- ensino-superior-brasil-cerca-21-inscreva-seminario.html>. Acesso em: 06/08/2018.

KAPLAN, E.L.; MEIER, P. Nonparametric estimation from incomplete observations. Journal of the American Statistical Association, v.53, n.282, p.457-481, jun.,1958.

LIMA, P.; SILVEIRA, F.L.; OSTERMANN, F. Análise de sobrevivência aplicada ao fluxo escolar nos cursos de graduação de física: um exemplo de uma universidade brasileira. Revista Brasileira de Ensino de Física, V. 42, N.1, 1403, mar, 2011.

MIRANDA, M. S. Técnicas não-paramétricas e paramétricas usadas na análise de sobrevivência de Chrysoperla externa (Neuroptera: Chrysopidae).2012. 56p. Dissertação (Mestrado em Estatística Aplicada e Biometria) Programa de Pós- graduação em Estatística Aplicada e Biometria. Universidade Federal de Viçosa. Viçosa.

NOGUEIRA, FERNANDA. País perde R$ 9 bilhões com evasão no Ensino

Superior, diz pesquisador. 2011. Disponível

em:<http://g1.globo.com/educacao/noticia/2011/02/ pais-perde-r-9-bilhoes-com- evasao-no-ensino-superior-diz-pesquisador.html >. Acesso em: 06/08/2018.

ROCHA, Cristina. Modelos de Sobrevivência. In: SEMINÁRIO DE ESTATÍSTICA E DE ECONOMETRIA, nov., 1995, Lisboa. Anais.

SANTOS, Janete. A evasão nos cursos de graduação da Universidade Federal do Recôncavo da Bahia pós-ENEM/SISU. 2017. Tese (Doutorado em Ciências da Educação). Universidade de Minho, Braga.

SILVA, Renato. Deserción: Competitividad ó Gestion. Revista Lasallista de Investigación. Colômbia, v.2, p.64-69, 2006.

SINDICATO DAS MANTENEDORAS DE ENSINO SUPERIOR. Mapa do Ensino Superior do Brasil. São Paulo: 2016.

STIGLER, S.M. Citation Patterns in the Journals of Statistics and Probability. Statistical Science, v.9, p.94-108, 1994.

STRAPASSON, Elizabeth. Comparação de modelos com censura intervalar em análise de sobrevivência. 2007. Tese (Doutorado em Agronomia). USP, São Paulo.

UNIVERSIDADE FEDERAL DO RECÔNCAVO DA BAHIA. Relatório de Gestão. Cruz das Almas, 2018. Disponível em:< https://www.ufrb.edu.br/prograd/relatorios-de- gestao> Acesso em: 06/08/2018.

# data[].attributes.attachment_link.title
Método de Regressão de Cox - Análise de sobrevivência

# data[].attributes.attachment_link.description
O modelo de regressão de Cox foi ajustado a variável tempo até o aluno ser cancelado, tendo como covariáveis: curso, sexo, tipo de vaga concorrida e o tipo de escola. A regressão de Cox foi aplicada com o intuito de verificar a relação entre as variáveis, o resultado está apresentado na tabela 4.8.

# data[].attributes.body
Elastic Net produz um modelo de regressão que é penalizado com as normas L1 e L2. A conseqüência disso é efetivamente reduzir os coeficientes e definir alguns coeficientes para zero.Ou seja, incorpora as virtudes das regressões Lasso e Ridge sanando suas limitações em muitos casos.

# data[].attributes.body
Primeiramente, note que a regressão Lasso pode ser útil quando temos muitas variáveis e queremos eliminar as menos importantes; porém, quando falamos de regressão ridge, temos regressões com muitas variáveis importantes. Queremos tornar nosso modelo mais simples reduzindo a magnitude dos regressores, mas não eliminar nenhum.

# data[].attributes.attachment_link.readable_text
Regressão linear é o primeiro algoritmo que aprendemos quando estudamos ciência de dados e machine learning. Apesar de muito útil, o algoritmo buscará sempre minimizar a soma dos quadrados de forma que se obtenha um modelo com o menor erro possível. Isso pode levar ao problema de overfitting (já explicado em posts como Overfitting e Cross Validation e Explicando overfitting com uma anedota). Uma forma de resolver isso é utilizando a regressão ridge ou lasso!

O TRADEOFF VIÉS X VARIÂNCIA

Como explicado no primeiro parágrafo, é comum nos depararmos com o problema de overfitting quando utilizamos regressão linear. Uma forma de resolver esse problema é através do que chamamos de regularização. Posto de forma simples, a regularização criará penalidades ao seu modelo de forma que você reduza a variância e aumente o viés.

Sim, soa estranho falar de aumentar o viés, mas é isso mesmo. Um bom modelo precisa ser capaz de prever dados novos. Por este motivo, existe o que chamamos de tradeoff de viés e variância ( bias x variance tradeoff). Um modelo com muita variância acertará muito os dados no treino, mas errará dados novos. Já um modelo com muito viés acaba sendo um modelo super-simplificado e com baixa acurácia. Em outras palavras, há um equilíbrio entre viés e variância que queremos atingir. O modelo não pode nem ser muito simples, alto viés, nem muito complexo, alta variância.

No caso da regressão linear, nosso modelo está tentando reduzir ao máximo o viés, de forma que no gráfico acima, ele estaria situado à direita. Uma forma de trazermos ele mais para a esquerda do gráfico reduzindo sua complexidade, seria através da regularização.

Resumindo, hoje você vai aprender uma forma de lidar com modelos que sofrem de overfitting. Isso normalmente ocorre por conta de multicolinearidade ou ausença de dados suficientes (número de regressores >= número de indivíduos).

REGULARIZAÇÃO L1

A primeira regularização de que vamos falar é a L1, grave bem este número e associe-o à Regressão Lasso. Neste caso, o que o modelo fará será reduzir alguns dos coeficientes da equação, podendo chegar a zero.

Quando falamos de Regressão Lasso estamos tratando de uma regressão semelhante à linear, só que aqui o que ocorre é a minimização da soma dos resíduos quadrados somados a uma constante lambda multiplicada pela soma dos coeficientes em módulo. A fórmula abaixo ilustra essa definição:

Na regressão Lasso, alguns coeficientes podem ser reduzidos a zero. Dessa forma, ela também pode ser utilizada para redução de dimensionalidade.

Outra coisa importante para se ter em mente é o lambda da equação. Este fator controla o tamanho da penalidade, sendo que pode ser:

Igual a zero, não tendo nenhum parâmetro eliminado. Ou seja, temos o mesmo resultado que uma regressão linear;

Maior que zero, aumentando o número de coeficientes eliminados. Em outras palavras, lambda será determinante para a complexidade do modelo. Quanto mais alto, maior o viés e menor a variância. Em outras palavras, um lambda muito baixo pode levar ao overfitting.

Mas como saber qual lambda utilizar?

Não há uma resposta certa. No caso de você estar utilizando um software de programação, você pode testar vários lambdas e avaliar o quanto o seu modelo está overfittando e quão pior fica a predição da base teste. Leia sobre RandomSearchCV, GridSearchCV e BayesSearcCV se estiver utilizando Python (bibliotecas Scikit-Learn e Scikit-Opt). No caso de R, funções parecidas são encontradas no pacote Caret.

REGULARIZAÇÃO L2

Se com L1 estamos reduzindo alguns coeficientes a zero, quando falamos de L2, eles podem no máximo chegarem próximos a zero, mas nunca vão se tornar zero. Essa é a principal diferença. E se antes estávamos tratando de regressão Lasso, agora migramos para regressão Ridge.

Primeiramente, note que a regressão Lasso pode ser útil quando temos muitas variáveis e queremos eliminar as menos importantes; porém, quando falamos de regressão ridge, temos regressões com muitas variáveis importantes. Queremos tornar nosso modelo mais simples reduzindo a magnitude dos regressores, mas não eliminar nenhum.

A regressão Ridge, tal como a Lasso, é uma variação da Regressão Linear. Dessa vez, queremos minimizar a soma dos resíduos quadrados somada a lambda multiplicado pela soma dos coeficientes ao quadrado. A fórmula abaixo ilustra o que acabamos de dizer:

Mais uma vez, a escolha de lambda determina a complexidade de seu modelo. Novamente, quanto maior lambda, mais "simples" seria nossa equação no sentido de que tiramos um pouco do efeito dos coeficientes. Então guarde bem: quanto maior o lambda, menor a variância e maior a chance de underfitting. Quanto menor lambda, maior a variância e maior chance de overfitting.

CONCLUSÃO

Ambas regressões são interessantes principalmente quando temos muitas variáveis, como quando temos mais variáveis do que indivíduos no dataset. A Regressão Lasso possui ainda a vantagem de reduzir coeficientes a zero, podendo ser uma alternativa para redução de dimensionalidade. Qual utilizar no seu problema vai depender do tipo de solução que você precisa. Mas tenha em mente que regularização é um tema relevante que todo cientista de dados precisa conhecer.

E aí? Gostou do conteúdo? Se inscreva para receber todas as novidades. Deixe seu e-mail em INSCREVA-SE na barra à direita, logo abaixo de pesquisar. E, por favor, não deixe de comentar, dar seu feedback e, principalmente, compartilhar com seus amigos. De verdade, isso faz toda a diferença. Além disso, você também pode acompanhar mais do meu trabalho seguindo a conta de Twitter @UniDosDados, no Instagram @universidadedosdados ou por alguma das redes que você encontra em Sobre o Estatsite / Contato, como meu canal de Youtube Canal Universidade dos Dados.

Aproveite e adquira sua camiseta de data science na LOJA DA UNIVERSIDADE DOS DADOS. Vai ficar estiloso e me ajudar neste projeto!

BONS ESTUDOS!

# data[].attributes.attachment_link.title
Regressão Ridge e Lasso - ESTATSITE.COM.BR

# data[].attributes.attachment_link.description
Regressão linear é o primeiro algoritmo que aprendemos quando estudamos ciência de dados e machine learning. Apesar de muito útil, o algoritmo buscará sempre minimizar a soma dos quadrados de forma que se obtenha um modelo com o menor erro possível.

# data[].attributes.headline
Artigo MÉTODO “RIDGE” EM MODELO DE SUPERFÍCIE DE RESPOSTA:OTIMIZAÇÃO DE CONDIÇÕES EXPERIMENTAIS NA ELABORAÇÃODE DOCE DE GOIABA

# data[].attributes.subject
Artigo MÉTODO “RIDGE” EM MODELO DE SUPERFÍCIE DE RESPOSTA:OTIMIZAÇÃO DE CONDIÇÕES EXPERIMENTAIS NA ELABORAÇÃODE DOCE DE GOIABA

# data[].attributes.body
Algoritmos de machine learning: regressões penalizadas com ridge, lasso e MQP.

# data[].attributes.attachment_link.title
Aula 6 - Algoritmos de machine learning: regressões penalizadas com ridge, lasso e MQP

# data[].attributes.headline
Artigo: Avaliação do lasso e métodos alternativos em modelos de regressão logística.

# data[].attributes.subject
Artigo: Avaliação do lasso e métodos alternativos em modelos de regressão logística.

# data[].attributes.attachment_link.readable_text
Exemplo ilustrativo de um modelo de Machine Learning treinado usando SVM - Créditos: Zahra Elhamraoui

Máquina de Vetores de Suporte ( Support Vectors Machine - SVM, do inglês) é um algoritmo de aprendizagem de máquina utilizado tanto para classificação quanto para regressão. Muito embora, neste momento vamos analisar sua aplicabilidade em problemas de classificação apenas.

Essencialmente, o SVM é responsável por encontrar a melhor fronteira de separação entre classes/rótulos possível para um dado conjunto de dados que sejam linearmente separáveis. Para o SVM, as diversas fronteiras de separação possíveis que são capazes de separar completamente as classes são chamadas de hiperplanos. Dessa forma, o SVM busca encontrar o melhor hiperplano para um dado data set cujas classes são linearmente separáveis. Podemos visualizar essa ideia através do cenário base de classificação (binária) abaixo:

De imediato, podemos observar que a dimensionalidade do hiperplano é diretamente proporcional à dimensão do conjunto de dados (n):

(1)

Logo, em um data set bidimensional, o hiperplano é uma reta. Em um data set tridimensional, o hiperplano é de fato um plano. E assim sucessivamente.

Pensando de forma intuitiva, qual seria o melhor hiperplano de acordo com a primeira figura acima? É fácil imaginar que seria o H1, certo?

Esse é o hiperplano que se encontra no ponto médio entre os dois grupos de classes, trazendo uma certa característica de simetria na classificação, onde o ponto mais próximo de cada classe está a uma distância do hiperplano, de forma a minimizar erros de classificação e problemas de enviesamento do modelo ( overfitting).Na teoria, os pontos mais próximos ao hiperplano (em verde na figura seguinte) são chamados de vetores de suporte, dando nome ao algoritmo, pois é a partir deles que o modelo será desenvolvido matematicamente, treinado e otimizado. Além disso, a distância entre os vetores de suporte e o hiperplano é chamada de margem.

A ideia por trás do algoritmo está totalmente alinhada com problemas de classificação, agora precisamos entender como as ferramentas matemáticas podem auxiliar na definição do hiperplano ótimo, ou seja, como ocorre o treinamento do modelo, quais são os conceitos e terminologias fundamentais e quais soluções aparecem para tratar de problemas de classificação mais complexos.

Partindo do conjunto de dados genérico apresentado, temos duas classes distintas (+ e -). Como já foi discutido, o melhor hiperplano capaz de separar as duas classes estaria localizado no ponto médio entre elas (maximizando a margem), podendo ser genericamente definido como:

Onde w é o vetor que caracteriza o hiperplano (vetor normal), que define sua orientação no espaço - é perpendicular ao hiperplano.

x é um ponto qualquer pertencente ao hiperplano e portanto satisfaz essa equação.

b é uma constante que determina o deslocamento do hiperplano em relação a origem - determina a regra de decisão.

Dessa maneira, define-se para um ponto x qualquer fora do hiperplano a seguinte regra de decisão:

No entanto, encontrar a equação que define o melhor hiperplano ainda é inviável uma vez que esse se torna um problema de otimização com restrições, onde os vetores de suporte (margens) precisam ser utilizadas para tal.

Então são introduzidas algumas definições matematicamente convenientes para que se possa encontrar o hiperplano ótimo. Primeiramente, define-se uma variável de classificação y que assume o valor +1 para amostras positivas (+)e o valor -1 para amostras negativas (-). Assim podemos escrever duas novas equações:

Que podem ser transformadas numa única equação ao introduzir a variável y:

Com esse resultado podemos definir a margem e consequentemente os vetores de suporte, uma vez que estes irão satisfazer a equação abaixo:

Nesse ponto, chegamos no problema que queremos verdadeiramente resolver, encontrar o w e o b que maximizam a margem e que por consequência definem o melhor hiperplano possível.

Logo, é necessário encontrar a distância entre a margem inferior e superior. Vetorialmente podemos visualizar essa distância com a ajuda da imagem seguinte.

Utilizando (4) e substituindo os valores na equação (7), chega-se ao resultado:

Com esse resultado, podemos visualizar que o objetivo é maximizar a expressão (8), isso significa encontrar o menor w possível obedecendo as restrições estabelecidas e classificando corretamente os dados.

Acontece que encontrar o w, e posteriormente, o b que definem o hiperplano ótimo não é uma tarefa trivial, envolvendo multiplicadores de Lagrange, derivadas e manipulações matemáticas como problemas de otimização quadráticos. Caso queira se aprofundar mais sobre o assunto leia esses artigos [1] e[2].
Problemas multiclasse
Assim como mencionado em artigos passados, existem algumas técnicas que auxiliam na classificação de problemas multiclasse, e estas são aplicáveis a diferentes algoritmos de machine learning que em sua essência solucionam problemas binários. A maneira mais simples e comum é dividir nosso problema multiclasse em várias classificações binárias, que podem ser ou (também chamada de ).

A técnica one-vs.-one consiste em separar nossa situação em classificações binárias de pares de classes diferentes e realizar a classificação através dos votos da maioria. Ou seja, dadas três classes A, B e C, faremos os classificadores (A, B), (A, C) e (B, C) para comparação, e a classe mais votada será a escolhida. Por exemplo, se o SVM escolheu A em (A, B), A em (A, C) e C em (B ,C), nosso resultado será (A, A, C) e a classe escolhida será a A.

A técnica one-vs.-all consiste em comparar cada classe com todo o resto. Ou seja, se tivermos as mesmas três classes A, B e C, dividiremos nosso problema nas classificações (A, B+C), (B, A+C) e (C, A+B), e a classe que ganhar do resto será escolhida. Por exemplo, se o SVM escolheu B+C em (A, B+C), A+C em (B, A+C) e C em (C, A+B), nosso resultado será (B+C, A+C, C) e a classe escolhida será a C.
Tratando de data sets mais complexos
O fato de que a teoria do SVM se baseia em dados cujas classes são linearmente separáveis não limita seu uso a problemas dessa natureza. Com a necessidade, técnicas foram desenvolvidas para tratar de problemas mais complexos, estes enquadram o chamado SVM não linear junto ao truque do kernel ( kernel trick) e a introdução de hiperparâmetros para flexibilizar o modelo treinado.

Em uma situação no qual o conjunto de dados estão distribuídos de acordo com a figura abaixo a impossibilidade de separar as classes com uma reta fica evidente, nessas condições o kernel trick tem importância fundamental. Essa é uma técnica que aplica uma transformação não linear do espaço, através de uma função, mapeando o conjunto de dados para um espaço de maior dimensão em que se torna possível obter um hiperplano que separe as classes corretamente. Dessa forma, uma fronteira de separação não linear é visualizada quando se retorna ao espaço original (de menor dimensão).

Intuição por trás da aplicação do kernel trick

Existe um outro fator que adiciona complexidade a um conjunto de dados. Dada a imagem abaixo, podemos observar que também é impossível introduzir uma reta que separa perfeitamente as duas classes, e em alguns casos esse problema persiste mesmo após transformar o espaço com uma função de kernel. Nesses casos os hiperparâmetros são responsáveis por adicionar versatilidade ao modelo, tolerando que algumas amostras sejam classificadas de forma incorreta ( soft margin) ou tentando alcançar uma separação perfeita ( hard margin). Esses hiperparâmetros são explicados na próxima seção.
Hiperparâmetros do modelo
Quando se parte para a esfera de aplicação do SVM alguns parâmetros de ajuste do modelo vêm à tona. Estes são passados diretamente ao algoritmo e têm uma grande importância pois estão diretamente relacionados com o desempenho do modelo, pois alteram a velocidade de treinamento, a tendência a overfitting, tolerância a erros de classificação e outras coisas. Estes hiperparâmetros são denominados C e Gamma.
Parâmetro C
O parâmetro C está presente tanto no SVM linear quanto não linear e é responsável por controlar o quão tolerante a erros de classificação será o modelo treinado. Este pode ser visto como uma penalização (ou custo) que é imposto ao modelo durante o treinamento para cada amostra classificada erroneamente. Dessa forma, um alto valor de C faz com que o algoritmo treine o modelo almejando a separação completa entre classes (mesmo em problemas de maior complexidade), podendo causar overfitting e demandar muito tempo de treinamento por gerar fronteiras de decisão muito complexas. Por outro lado, baixos valores de C flexibilizam a etapa de treinamento e permitem fronteiras de decisão com erros (também chamado de Soft Margin), mas pode levar a um underfitting.

Comportamento do SVM utilizando diferentes valores para C - Imagens produzidas por Chris Albon

Parâmetro Gamma
O parâmetro Gamma é introduzido somente no SVM não linear, através das funções de Kernel (especificamente o RBF, polinomial e sigmoide). Esse pode ser interpretado como uma forma de introduzir uma maior flexibilização no treinamento do modelo, influenciando na distância na qual as amostras serão consideradas para o cálculo da fronteira de decisão. São pesos que são introduzidos para a distância entre amostras, dando maior ou menor importância à amostras distantes ou próximas da fronteira de decisão (importância das amostras para o treinamento). Aumentar o valor de Gamma faz com que os pontos mais distantes da região de separação entre classes sejam desconsiderados, levando a fronteiras de decisão mais restritas e complexas ( overfitting). Por outro lado, valores menores de Gamma aumentam a influência dos pontos mais distantes e flexibilizam a região de separação, permitindo alguns erros de classificação e podendo levar ao underfitting.

Comportamento do SVM utilizando diferentes valores para Gamma - Imagens produzidas por Chris Albon

Vantagens

Não é muito influenciado por ruídos nos dados, uma vez que o algoritmo é otimizado a partir dos vetores de suporte (pontos próximos ao hiperplano).

Aprende conceitos não pertencentes aos dados originais.

Consegue solucionar problemas de classificação lineares ou não com o uso dos kernels.

É efetivo em problemas cujos banco de dados apresentam alta dimensionalidade.

Desvantagens

É um modelo considerado como "caixa preta", uma vez que sua interpretação e visualização é muito complexa, principalmente em problemas de maior dimensionalidade.

É um algoritmo lento quando comparado a outros algoritmos de classificação. E a velocidade de treinamento varia com os valores dos hiperparâmetros.

O ajuste dos hiperparâmetros do modelo requer vários testes para encontrar o melhor custo-benefício de desempenho. Escolhas indevidas dos valores de C e Gamma podem levar facilmente a overfitting.

Aplicações práticas

Reconhecimento de imagem

Detecção facial

Categorização de textos

Reconhecimento de escrita manual

Aplicações na área biomédica

Exemplo Prático
O artigo abaixo apresenta uma outra perspectiva a respeito do SVM e traz uma aplicação prática de como treinar um modelo SVM utilizando Python e alguns módulos fundamentais.

Os dois artigos abaixo trazem uma visão mais teórica e matemática sobre o SVM e ilustram detalhes mais específicos nos quais optei por não apresentar nesse artigo.

# data[].attributes.attachment_link.description
Máquina de Vetores de Suporte ( Support Vectors Machine - SVM, do inglês) é um algoritmo de aprendizagem de máquina utilizado tanto para classificação quanto para regressão. Muito embora, neste momento vamos analisar sua aplicabilidade em problemas de classificação apenas.

# data[].attributes.headline
Vídeo aula: Máquina de vetores de suporte (SVM) 

# data[].attributes.subject
Vídeo aula: Máquina de vetores de suporte (SVM) 

# data[].attributes.body
Definição, Hiperplanos, Vetores de suporte, Kernel, Regularização e Gamma. São os conteúdos abordados no vídeo.

# data[].attributes.attachment_link.title
Máquina de vetores de suporte (SVM) - Teoria - Professor Danilo Morales

# data[].attributes.headline
Artigo: MÁQUINA DE VETOR DE SUPORTE APLICADA A DADOS DESENSORIAMENTO REMOTO PARA A ESTIMAÇÃO DE VOLUME EBIOMASSA AÉREA DE POVOAMENTOS DE EUCALIPTO

# data[].attributes.subject
Artigo: MÁQUINA DE VETOR DE SUPORTE APLICADA A DADOS DESENSORIAMENTO REMOTO PARA A ESTIMAÇÃO DE VOLUME EBIOMASSA AÉREA DE POVOAMENTOS DE EUCALIPTO

# data[].attributes.body
PCR é uma técnica de regressão que é amplamente utilizada quando você tem muitas variáveis independentes ou multicolinearidades. Está dividido em 2 etapas:

1.Obter os componentes principais.
2.Executar análise de regressão nos componentes principais.

As características mais comuns da PCR são:

(a).Redução de dimensionalidade
(b).Remoção de multicolinearidade

# data[].attributes.body
A análise de componentes principais é um método estatístico para extrair novos recursos quando os recursos originais são altamente correlacionados. Criamos novos recursos com a ajuda de recursos originais, de modo que os novos recursos não sejam correlacionados.

Vamos considerar o primeiro componente principal:

U1=β1X1+β2X2+...+βpXp
Tal que ∑β2=1

O primeiro PC (principal component - componente principal) está tendo a variação máxima.
Da mesma forma, podemos encontrar o segundo PC U2 de tal modo que ele não seja correlacionado com U1 e tenha a segunda maior variância. De maneira similar para recursos ‘p’, podemos ter um máximo de PCs ‘p’ de tal forma que todos os PCs não sejam correlacionados entre si e o primeiro PC tenha a variância máxima, então o segundo PC tem a variância máxima e assim por diante.

# data[].attributes.body
https://youtu.be/HfbcGPhVnRo

# data[].attributes.attachment_link.authors[].name
Canal da Engenharia de Manufatura e Qualidade

# data[].attributes.body
É uma técnica alternativa de regressão de componentes principais quando você tem variáveis independentes altamente correlacionadas. Também é útil quando há um grande número de variáveis independentes.

# data[].attributes.body
Ambas as técnicas criam novas variáveis independentes chamadas componentes que são combinações lineares das variáveis preditoras originais, mas a PCR cria componentes para explicar a variabilidade observada nas variáveis preditoras, sem considerar a variável resposta. Enquanto o PLS considera a variável dependente e, portanto, muitas vezes leva a modelos que são capazes de ajustar a variável dependente com menos componentes.

# data[].attributes.body
library(plsdepot)
data(vehicles)
pls.model = plsreg1(vehicles[, c(1:12,14:16)], vehicles[, 13], comps = 3)
# R-Square
pls.model$R2

# data[].attributes.body
Regressão Ordinal é usada para prever valores ordenados. Em palavras simples, esse tipo de regressão é adequado quando a variável dependente é ordinal por natureza. Exemplo de variáveis ordinais - Respostas da pesquisa (escala de 1 a 6), reação do paciente à dose da droga (nenhuma, leve, grave).

# data[].attributes.headline
Por que não podemos usar a regressão linear ao lidar com a variável alvo ordinal?

# data[].attributes.subject
Por que não podemos usar a regressão linear ao lidar com a variável alvo ordinal?

# data[].attributes.body
Na regressão linear, a variável dependente assume que as mudanças no nível da variável dependente são equivalentes em todo o intervalo da variável. Por exemplo, a diferença de peso entre uma pessoa com 100 kg e uma pessoa com 120 kg é de 20 kg, o que tem o mesmo significado que a diferença de peso entre uma pessoa que tem 150 kg e uma pessoa com 170 kg. Essas relações não são necessariamente válidas para variáveis ordinais.

# data[].attributes.body
library(ordinal)
o.model <- clm(rating ~ ., data = wine)
summary(o.model)

# data[].attributes.headline
Vídeo aula sobre regressão por mínimos quadrados parciais 

# data[].attributes.subject
Vídeo aula sobre regressão por mínimos quadrados parciais 

# data[].attributes.body
https://youtu.be/ZkY6BlXl9U4

# data[].attributes.body
A análise de regressão linear é usada para prever o valor de uma variável com base no valor de outra. A variável que deseja prever é chamada de variável A regressão linear se ajusta a uma linha reta ou superficial que minimiza as discrepâncias entre os valores de saída previstos e reaisdependente. A variável que é usada para prever o valor de outra variável é chamada de variável independente.

FÓRMULA: Y=a+bx

# data[].attributes.headline
Regressão Linear simples e regressão múltipla.

# data[].attributes.subject
Regressão Linear simples e regressão múltipla.

# data[].attributes.attachment_link.title
Regressão linear e múltipla: entenda as diferenças! | Escola EDTI

# data[].attributes.attachment_link.description
Regressão linear e múltipla, a análise de regressão tem por objetivo desvendar o comportamento entre uma variável dependente e as consideradas independentes

# data[].attributes.body
Regressão polinomial: Este procedimento ajusta até 10 diferente modelos de regressão para duas variáveis,sendo uma dependente e uma independente. A variável independente é expondida num polinômio até o décimo grau. Com geração de novas variáveis.

# data[].attributes.body
A regressão logística é uma técnica estatística que tem como objetivo produzir, a parti de  um conjunto de observações, um modelo que permite a predição de valores tomados por uma ou mais variáveis categórica, frequentemente binária, em função de uma ou mais variáveis independentes contínuas ou binárias

# data[].attributes.body
Aula de Quasi poisson ( liink programado para iniciar no momento da explicação )

# data[].attributes.attachment_link.title
Quasi-Poisson and negative binomial regression models

# data[].attributes.body
Jognny Iago
Lívia Zilar
Luana Beatriz
Lucas Tomaz
Sávio Haistem

# data[].attributes.body
Prof. Taynara Milene