====== CE-092 -- Segundo semestre de 2017 ====== No quadro abaixo será anotado o conteúdo dado em cada aula do curso. \\ São indicados os Capítulos e Sessões correspondentes nas referências bibliográficas, bem como os exercícios sugeridos. Veja ainda depois da tabela as **Atividades Complementares**. \\ **Observação sobre exercícios recomendados** os exercícios indicados são compatíveis com o nível e conteúdo do curso. \\ Se não puder fazer todos, escolha alguns entre os indicados. ===== Conteúdos das Aulas ===== ^ Data ^ Conteúdo ^ Leitura ^ Tópico ^ | 31/07 Seg |Informações sobre o curso. Uma discussão sobre algumas possíveis extensões do modelo de regressão: GLM, modelos com respostas transformadas, segmentados, modelos não-lineares. Modelos paramétricos, não paramétricos e semi-paramétricos. Observações não independentes. |Cap 1 - Introdução \\ Livro do Faraway | [[#31/07|Ver abaixo]] | | 02/08 Qua |Discussão da turma sobre os dois exemplos e opções para ajuste de modelos: 1. regressão linear simples, 2. regressão polinomial, 3. transformação de variavel resposta, 4. GLM gaussiano com transformação na ligação, 5. regressão segmentada, 6. modelo não linear. Derivação da expressão do modelo de regressão segmentada (4 casos). Obtenção da (log)verossimilhança na escala original para modelos com transformação na variável. |[[http://www.ime.unicamp.br/~cnaber/aula_Trans_Outros_Metodos_2S_2104.pdf|Material sobre transformação]] do Prof. Caio | [[#02/08|Ver abaixo]] | | 07/08 Seg |Discussão das atividades propostas na aula anterior. Arquivos de comandos computacionais | | [[#06/08|Ver abaixo]] | | 09/08 Qua |Modelos por partes e segmentados. Comentários adicionais. Inferência para ponto de corte. Parametrizações e reparametrizações. Modelos com mais de um ponto de corte. Discussão da arquivo de comandos computacionais | | [[#08/08|Ver abaixo]] | | 14/08 Seg |Regressão por splines: construção, restrições de continuidade e suavidade. Graus de liberdade. Splines cúbicos. B-splines, splines naturais. Implementação computacional |Faraway: Cap 11: 11.2 \\ [[http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Seventh%20Printing.pdf|James et. al]]: Cap 7: 7.4 | [[#14/08|Ver abaixo]] | | 16/08 Qua |Fundamentos e características de outros métodos de suavização: suavização por splines, por kernel e polinômios locais |Faraway: Cap 11: 11.1, 11.2 e 11.3 \\ [[http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Seventh%20Printing.pdf|James et. al]]: Cap 7: 7.5 e 7.6, 7.8.1 e 7.8.2 | [[#16/08|Ver abaixo]] | | 21/08 Seg |GAM's: fundamentos e implementações computacionais ''gam:::gam()'' e ''mgcv:::gam()'' |Faraway: Cap 12: \\ [[http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Seventh%20Printing.pdf|James et. al]]: Cap 7: 7.7, 7.8.3 | [[#21/08|Ver abaixo]] | | 23/08 Qua |Estudos e dúvidas | | | | 28/08 Seg |(Walmes 1/3) Introdução aos modelos não lineares. Caracterização, relações com outros modelos, parametrizações, propriedades. Exemplo de ajuste. | |[[#28/08|Ver abaixo]] | | 30/08 Qua |1a prova | | | | 04/09 Seg |(Walmes 2/3) Modelos não lineares (cont.) - Inferência para modelos não lineares. Intervalos de confiança para parâmetros (por diferentes métodos), funções de parâmetros. Predição e bandas de incerteza. Exemplos computacionais - interpretação e exploração dos resultados. | |[[#04/09|Ver abaixo]] | | 06/09 Qua |Não houve aula - formatura | | | | 11/09 Seg |(Elias 1/2) Modelos de passeio aleatório (*random walk*) - Introdução e fundamentos |[[http://www.leg.ufpr.br/lib/exe/fetch.php/disciplinas:ce092-2017-02:tokyo-motivacao.pdf|slides]] \\ [[https://pt.wikipedia.org/wiki/Passeio_aleat%C3%B3rio|Leitura]] |[[#11/09|Ver abaixo]] | | 13/09 Qua |(Elias 1/2) Modelos de passeio aleatório (*random walk*) - Estimação |[[http://www.leg.ufpr.br/~elias/ensino/ce092/tutorials/gmrf-approximation-tokyo.html|tutorial]] |[[#11/09|Ver abaixo]] | | 18/09 Seg |(Walmes 3/3) Modelos não lineares em estruturas experimentais | | | | 20/09 Qua |(Cesar 1/4) Conceitos e exemplos introdutórios. | |[[#20/09|Ver abaixo]] | | 25/09 Seg |(Cesar 2/4) Arvores de regressão (cont). Construção, medidas e poda | |[[#25/09|Ver abaixo]] | | 27/09 Qua |(Cesar 3/4) Arvores de regressão (cont). Introdução às árvores de classificação (exemplo Iris) | |[[#27/09|Ver abaixo]] | | 02/10 Seg |(Cesar 4/4) Arvores de classificação e predição. Exemplo de SPAM's | |[[#02/10|Ver abaixo]] | | 04/10 Qua |Dia não letivo | | | | 09/10 Seg |Efeitos aleatórios - Introdução. Motivações e interpretações para efeitos aleatórios. Efeitos aleatórios em modelos Gaussianos e não Gaussianos | |[[#09/10|Ver abaixo]] | | 11/10 Seg |Efeitos aleatórios - continuação. Representação matricial. Inferência - ML e REML. Estimação pelo método da ANOVA. Testes de efeitos e dificuldades - TRV e alternativas |Faraway, Cap 8 |[[#11/10|Ver abaixo]] | | 16/10 Seg |Efeitos aleatórios - continuação. Discussão de códigos computacionais |Faraway, Cap 8 |[[#16/10|Ver abaixo]] | | 18/10 Qua |Estudo de artigo de Singer et. al. | |[[#18/10|Ver abaixo]] | | 23/10 Seg |(Walmes 1/2) Modelos de efeitos aleatórios na análise de experimentos | |[[#23/10|Ver abaixo]] | | 25/10 Qua |Discussão em aula do artigo de Singer et. al. | |[[#18/10|Ver abaixo]] | | 30/10 Seg |(Walmes 2/2) Modelos de efeitos aleatórios na análise de experimentos (cont) | |[[#23/10|Ver abaixo]] | | 01/11 Qua |Inferência em modelos de efeitos aleatórios Gaussianos e Não Gaussianos. Métodos aproximados e verossimilhança com integração numérica. Métodos de integração. | | | | 06/11 Seg |Regressão para dados heterocedásticos | |[[http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-71402003000200001|Artigo para leitura e discussão]] | | 08/11 Qua |Sem aula expositiva. Leitura, desenvolvimentos e discussões entre alunos. Prof. disponível na sala para discussões se necessário. | | | | 13/11 Seg | | | | | 15/11 Qua |Feriado | | | | 20/11 Seg |Idéias básicas sobre regressão quantílica. Relação com formato da função perda | |[[#22/11|Ver abaixo]] | | 22/11 Qua |Discussão do artigo de Cribari e Soares (Modelos Heterocedásticos) | | | | 27/11 Seg |Dia não letivo | | | | 29/11 Qua |3a prova | | | === 31/07 === * **Atividades** - Obter os materiais recomendados para o curso - Utilizando {{:disciplinas:ce092-2015-02:df02.txt|este arquivo de dados}}, efetue as análises das regressões de Y1 vs x e Y2 vs x, cada uma delas com os modelos - de regressão linear simples - de regressão linear simples com transformação de variável resposta - de regressão segmentada. Defina (arbitrariamente) um "ponto de corte" Copie o arquivo para um diretório (pasta), aponte o R para esta pasta e importe os dados com: df <- read.table("df02.txt", head=TRUE) /* - Estudar e preparar apresentação comparando diferentes estratégias para ajuste de um conjunto de dados: modelo com transformação da resposta e modelo com transformação na função de ligação. Utilize a transformação ''log()''. * /* - Estudar e preparar apresentação sobre o modelo de regressão segmentado/por partes (//piecewise// ou //segmented// regression). Usar o mesmo conjunto de dados do conjunto anterior. Escolha um ponto adequado como //ponto de quebra//. * PS: procure utilizar funções do R e tb escrever suas próprias funções para estimar os modelos. ' === 02/08 === Atividades propostas: - Obter es expressões dos modelos de regressão segmentada para os casos ilustrados na figura a seguir{{ :disciplinas:ce092-2017-02:regpartes.jpg?800 |}} - Efetuar análises dos dados usados até aqui com o modelo segmentado contínuo: (i) com ponto de corte fixado, (ii) com ponto de corte estimado. Usar ''lm()'' e ''segmented::segmented()'' - Obter a expressão da verossimilhança na escala dos dados originais para o modelo transformado com:\\ (i) transformação logarítmica, (ii) transformação raiz quadrada, (iii) transformação Box-Cox - Ajustar todos os modelos discutidos em aula para os 2 dados considerados até aqui e comparar os ajustes. === 06/08 === - {{ :disciplinas:ce092-2017-02:01transforma.r |Arquivo de comandos}} (PJ) - Verificar se existe diferença entre os modelos de regressão segmentada com dois pontos de corte conhecidos definindo uma das covariáveis como $I(c_1 < X < c_2) \dcot x$ ou $I(X > c_1) \dcot x$ === 08/08 === - Arquivos vistos em aula: * [[http://www.leg.ufpr.br/~paulojus/CE092/02regpartes.R|Regressão por partes]] * [[http://www.leg.ufpr.br/~paulojus/CE092/03segmentada.R|Regressão segmentada]] === 14/08 === - Mostrar como ficam as equações das retas nas diferentes partes do modelo de regressão segmentada (linear) com dois nós - Mostrar como são obtidas as restrições de continuidade nesse caso - Escrever código opções para montar splines de graus d=0, d=1 e d=3 e aplicar a um modelo de regressão gaussiano com um regressor - Analisar utilizando as funções ''bs()'' e ''ns()'' do pacote **''splines''** - os dados iniciais do curso - um exemplo de dados gaussianos - dados de um GLM com um regressor === 16/08 === - Exercícios do Faraway, Cap 11 : propõe usar métodos de suavização em diferentes conjuntos de dados (disponíveis no pacote **''faraway''** === 21/08 === - Exercícios da sessão 7.9 de [[http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Seventh%20Printing.pdf|James et. al]] === 28/08 === - [[http://leg.ufpr.br/~paulojus/embrapa/Rembrapa/Rembrapase30.html#x32-20100030|Um exemplo de ajuste de modelos não lineares]] === 04/09 === - [[http://www.leg.ufpr.br/~walmes/ensino/extensoes/tutorials/01-nls.html|Material da aula do Prof. Walmes]] === 11/09 === === 20/09 === - {{ :disciplinas:ce092-2017-02:aula_arvores.pdf |Slides da aula}} - {{ :disciplinas:ce092-2017-02:aula-arvores.r |Arquivo de comandos}} - {{ :disciplinas:ce092-2017-02:rpart-tutorial.pdf |Tutorial do pacote ''rpart''}} === 25/09 === - Leituras de referência: - Cap 13 de Faraway - Cap 8, Sec 8.1 de [[http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Seventh%20Printing.pdf|James et. al]] === 28/09 === - Exercícios sugeridos: - Exercícios do Cap 13 de Faraway - Exercícios: 1, 4, 5, 6, 8 (a-c) e 9 de [[http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Seventh%20Printing.pdf|James et. al]] === 02/10 === - {{ :disciplinas:ce092-2017-02:aula_arvores.pdf |Slides da aula}} (foi atualizado) - {{ :disciplinas:ce092-2017-02:aula-arvores.r |Arquivo de comandos}} (foi atualizado) - [[https://www.youtube.com/watch?v=HW7Aib842Oo&hd=1|Video aula]] de James et al - [[https://link.springer.com/chapter/10.1007/978-0-387-77501-2_3|Um outro texto]] (capítulo) sobre árvores === 09/10 === - Leitura recomendada: Faraway, Cap 8: 8.1 a 8.4 - Atividades: - Mostar como decompor as observações em forma matreicial no modelo de efeitos aleatórios - Verificar como predizer os efeitos aleatórios no modelo Gaussiano - Reproduzir exemplos do livro (notar que a [[http://www.maths.bath.ac.uk/~jjf23/ELM/|Página do livro (1a edição)]] comenta sovre mudanças nos pacotes e recursos para modelos de efeitos aleatórios - ver [[http://www.maths.bath.ac.uk/~jjf23/mixchange/index.html|página explicativa]]) === 11/10 === - Reproduzir exemplos do livro, atentando para correções/atualização dos códigos nas páginas do autor/livro === 16/10 === - {{ :disciplinas:ce092-2017-02:elm_chapter08.r |Arquivo de comandos}} comentado editado durante a aula - [[http://leg.ufpr.br/~paulojus/embrapa/Rembrapa/Rembrapase27.html#x29-18300027|Um outro exemplo de códigos com uma análise similar]]. Modificar os códigos se necessário apra nova versão da **lme4**. Interpretar os resultados e extrair resumos interessantes da análise. === 18/10 === - Estudar o artigo de Singer et. al. Confiabilidade e Precisão na Estimação de Médias\\ Julio M. Singer, Carmen Diva Saldiva de André, Clóvis de Araújo Peres\\ **Confiabilidade e Precisão na Estimação de Médias**\\ [[http://www.rbes.ibge.gov.br/images/doc/rbe_236_jan_jun2012.pdf|Revista Brasileira de Estatística, v73]], n. 236, jan./jun. 2012. - Preparar uma apresentação sobre o artigo - Escrever códigos que reproduzam as análises do artigo Local Concentra 1 170,6 1 154,7 1 136,4 1 153,1 2 68,0 2 66,4 2 70,3 2 71,1 3 151,5 3 138,0 3 128,4 3 118,1 4 153,9 4 149,1 4 147,5 4 103,8 5 83,9 5 101,4 5 117,3 5 114,1 - {{:disciplinas:ce092-2016-02:codigo.r|Códigos reproduzindo alguns resultados do artigo}} === 23/10 === - [[http://www.leg.ufpr.br/~walmes/ensino/extensoes/tutorials/02-mixed-models.html|Material modelos mistos na análise de experimentos do Prof. Walmes]] === 22/101=== - [[https://cran.r-project.org/web/packages/quantreg/vignettes/rq.pdf|Vinheta (vignette)]] do [[ https://CRAN.R-project.org/package=quantreg|pacote quantreg]] para regressão quantílica