====== CE-092 -- Segundo semestre de 2018 ====== No quadro abaixo será anotado o conteúdo dado em cada aula do curso. \\ São indicados os Capítulos e Sessões correspondentes nas referências bibliográficas, bem como os exercícios sugeridos. Veja ainda depois da tabela as **Atividades Complementares**. \\ **Observação sobre exercícios recomendados** os exercícios indicados são compatíveis com o nível e conteúdo do curso. \\ Se não puder fazer todos, escolha alguns entre os indicados. ===== Conteúdos das Aulas ===== ^ Data ^ Conteúdo ^ Leitura ^ Tópico ^ | 31/07 Ter |Informações sobre o curso. Uma discussão sobre algumas possíveis extensões do modelo de regressão: GLM's, modelos com respostas transformadas. Modelos heterocedásticos e com covariância não nula entre observações. |Cap 1 - Introdução \\ Livro do Faraway | [[#31/07|Ver abaixo]] | | 02/08 Qui |Discussão sobre o exercício do cálculo de média, incluindo uma revisão sobre estimação e métodos de estimação. Média como resultado de estimação por mínimos quadrados. Média como resultado de estimação por verossimilhança. Construção da verossimilhança para o problema proposto. Solução computacional. | | [[#02/08|Ver abaixo]] | | 07/08 Ter |Comentários adicionais sobre ajustes com dados intervalares. Modelos com transformação da variável resposta. Família (Box-Cox) de transformação. Outras distribuições para respostas. Regressão: média, por partes, regressão linear por partes e segmentada. | | [[#07/08|Ver abaixo]] | | 09/08 Qui |Regressão com variáveis transformadas e regressão por partes: detalhamento e códigos | | [[#09/08|Ver abaixo]] | | 14/08 Ter |Ajuste de diferentes médias. Parametrizações e reparametrizações. Matrizes dos modelos. Interpretação dos parâmetros. De regressão segmentada à regressão por partes. Restrição de continuidade. Expressão do modelo e número de parâmetros | | [[#14/08|Ver abaixo]] | | 16/08 Qui |Comandos para exemplos de regressão com transformação e segmentada. Funções polinomiais locais - o caso cúbicas. Restrições de continuidade e suavidade. O conceito de funções base. splines, Exemplos. | | [[#16/08|Ver abaixo]] | | 21/08 Ter |Ilustração de conceitos vistos com "scripts" computacionais. Fundamento para escolha do(s) nó(s) em regressão segmentada/splines| | [[#21/08|Ver abaixo]] | | 23/08 Qui |1a avaliação intermediária | | | | 28/08 Qui |Discussão da 1a avaliação intermediária. | | [[#28/08|Ver abaixo]] | | 30/08 Qui |Atividade de estudo. Sem aula expositiva | | [[#30/08|Ver abaixo]] | | 04/08 Ter |Outros métodos de suavização: KNN, kernel, suavização por splines, lowess |Cap 14: 14.1 a 14.4 | | | 06/08 Qui |Outros métodos de suavização: KNN, kernel, suavização por splines, lowess (cont.) |Cap 14: 14.1 a 14.4 | | | 11/08 Ter |Uma discussão sobre recursos computacionais e estatística. Introdução aos efeitos aleatórios | | [[#11/09|Ver abaixo]] | | 13/08 Qui |Efeitos aleatórios - um modelo particular e generalizações. Predição dos efeitos aleatórios | | [[#13/09|Ver abaixo]] | | 18/08 Ter |Efeitos aleatórios - Efeitos aleatórios por grupos de observações. Predição dos efeitos aleatórios. Especificação geral do modelo Gaussiano e casos vistos até aqui como particulares do modelo geral. | | [[#18/09|Ver abaixo]] | | 20/08 Qui |Estimação em efeitos aleatórios. Obtenção das expressões. Estimação por verossimilhança e métodos numéricos. | | | | 27/08 Ter |Não houve aula. | | | | 29/08 Qui |Computação em modelos de efeitos aleatórios | |[[#29/09|Ver abaixo]] | | 02/10 Ter |SIEPE - dia não letivo | | | | 04/10 Qui |SIEPE - dia não letivo | | | | 09/10 Qui |Discussão/interpretação do artigo de Singer et. al. | |[[#09/10|Ver abaixo]] | | 22/10 Ter |Simulação de dados em modelos de efeitos aleatórios. Modelos para respostas não gaussianas - introdução | |[[#22/10|Ver abaixo]] | | 24/10 Qui |Inferência em GLMM | |[[#24/10|Ver abaixo]] | | 30/10 Ter |Sem aula presencial. Atividade recomendada: discussão em grupo dos exercícios propostos nas últimas aulas | | | | 01/11 Qui |Discussão de exemplo de análise da dados de contagem com efeitos aleatórios (Ex no livro de Faraway). ''glmmPQL()'' e ''glmer()'' | | | | 06/11 Ter |Introdução às árvores. |Faraway, Cap 16: 16.1 e 16.2 |[[#07/11|Ver abaixo]] | | 08/11 Qui |Um pouco mais sobre árvores. Avaliação do ajuste. Características e limitações do método. Critérios para poda de árvores | |Analisar via árvores dados vistos em alguma outra disciplina (reg/gamlss, ..._ | | 13/11 Ter |Ajustando árvores de regressão e classificação. (Prof. Cesar) | |[[#13/11|Ver abaixo]] | | 15/11 Qui |Feriado. | | | | 20/11 Ter |Árvores inferenciais - ctrees (prof. Cesar, continuação) | | | | 22/11 Qui |Fundamentos de regressão heterocedástica (estrutural e correção de erros padrão) e regressão quantílica | |[[#22/11|Ver abaixo]] | | 27/11 Ter |Prova: modelos de efeitos aleatórios | | | | 29/11 Qui |Introdução aos modelos não lineares. |{{http://www.leg.ufpr.br/~walmes/cursoR/mrnl2013/slides.pdf |slides}}\\[[http://leg.ufpr.br/~walmes/cursoR/mgest/3reg-nao-linear.html|Exemplo]] | | | 03/12 Seg |Prova: árvores, modelos heterocedásticos, regressão quantílica, modelos não lineares | | | === 31/07 === - Calcular a média entre os três dados nas seguintes situações: - As observações são: 22, 25, 32 - As observações são: <24, [23, 28] , >30 - As observações são: >24, [23, 28] , <30 - De todas as observações: pontuais e intervalares - {{ :disciplinas:ce092-2018-02:00intervalares.r |Arquivo de comandos}} - Generalizar o arquivo de comandos anterior para incluir a estimação da variância - De forma semelhante ao problema anterior, deseja-se calcular a média os casos a seguir, sabendo-se agora que se referem **a dados de contagem**. - As observações são: 2, 0, 5, 3, 1, 3, 1, 2 - As observações são: > 0, 0, [3-7], >= 1, 1, 3, < 3, <= 4 === 02/08 === - Seja uma variável (resposta) Y e uma covariável X com valores dados conforme abaixo. Ajuste um modelo de regressão linear simples. | X | 0.4| 1.2| 1.8| 1.9| 2.0| 6.8| 7.6| 8.3| 8.7| 9.3| 10.7| 11.3| 13.0| 13.4| 14.2| | Y | 0.8| 2.4| 1.8| 2.4| 2.4| 2.9| 3.6| 3.7| 3.1| 4.9| 3.6| 3.2| 4.1| 4.6| 3.8| - Repita agora o ajusta porém supondo a seguinte tabela de dados (com algumas respostas intervalares) | X | 0.4| 1.2| 1.8| 1.9| 2.0| 6.8| 7.6| 8.3| 8.7| 9.3| 10.7| 11.3| 13.0| 13.4| 14.2| | Y | 0.8| < 1.8| [1,5; 20]| 2.4| > 2| 2.9| 3.6| < 4| [2,5; 4]| > 4.5| < 4| 3.2| 4.1| [4; 5]| < 5| === 07/08 === - Utilizando {{:disciplinas:ce092-2015-02:df02.txt|este arquivo de dados}}, efetue as análises das regressões de Y1 vs x e Y2 vs x, cada uma delas com os modelos de regressão linear simples inicialmente e depois com: - transformação (log) da variável resposta, - transformação (raiz quadrada) da variável resposta, - transformação (Box-Cox) da variável resposta - distribuição Gama para a resposta. - Compare as verossimilhanças dos modelos ajustados lembrando de torná-las comparáveis se necessário. - Ainda utilizando os mesmos dados, ajuste modelos: - de média constante, - de médias constantes por partes/intervalos - de regressão linear simples - de regressão segmentada. Defina (arbitrariamente) um "ponto de corte" em 1,2 Copie o arquivo para um diretório (pasta), aponte o R para esta pasta e importe os dados com: df <- read.table("df02.txt", head=TRUE) === 09/08 === - {{ :disciplinas:ce092-2018-02:01partes.r |Arquivo de comandos visto em aula}} - derivar e implementar modelos por partes para 3 ou mais partes - derivar o modelo e escrever o código para o modelo de regressão segmentada (conectado no(s) nó(s)) - refazer os Exemplos 1 e 5 do arquivo de comandos porém agora estimando o "nó". === 14/08 === - (**computacional**) Ajuste o modelo de (3) médias sob as diferentes vistas na aula (.. e pode propor outras), discuta a interpretação dos parâmetros e verifique que as medidas de ajuste são iguais. - Defina e ajuste um modelo de regressão segmentada para o exemplo (arquivo de dados da aula de 07/08) com um ponto de corte (nó) fixado. - Idem fixando 2 nós. - Discuta nos casos anteriores como devem ser interpretados os parâmetros de seu modelo. - Procure explorar diferentes parametrizações. - Proponha um ajuste de regressão segmentada para os dados: MASS::mcycle with(MASS::mcycle, plot(accel ~ times)) === 16/08 === - {{ :disciplinas:ce092-2018-02:01transforma.r |arquivo de comandos - transformações}} - {{ :disciplinas:ce092-2018-02:exemplo-linear-to-splines.r |arquivo de comandos visto em aula - splines}} (nova versão, atualizado em 23/08 19:30) - Refaça o exemplo com os dados ''MASS::mcycle'' mas agora ajustando splines cúbicos - Considere o problema de regressão por splines cúbicos com 1 ponto de corte e derive as expressões das restrições para continuidade e suavidade - verifique as funções do pacote **''splines''** para construir splines. Refaça o exemplo de splines cúbicos do arquivo visto em aula utilizando tais funções. === 21/08 === - {{ :disciplinas:ce092-2018-02:01partes.r |Arquivo de comandos visto em aula}} (atualizado de 09/08) - {{ :disciplinas:ce092-2018-02:knots.r |Arquivo sobre escolha do nó}} - {{ :disciplinas:ce092-2018-02:mediatransform.r |Arquivo sobre média (e variância) na escala original) após transformação}} (nova versão, atualizado em 23/08) === 28/08 === **Tópico para discussão:** e estimação da média (esperança) a partir de um conjunto de dados depende da escolha da distribuição de probabilidades assumida para os dados?\\ Atividade computacional sugerida - Gere um conjunto de dados pontuais e estime a média por verossimilhança assumindo diferentes distribuições. Verifique se as estimativas mudam. - Idem anterior com dados (todos ou parte deles) intervalares === 30/08 === - Explorar detalhadamente {{ :disciplinas:ce092-2018-02:exemplo-linear-to-splines.r |este arquivo de comandos}} === 11/09 == - Explorar o material (shiny) preparado pela Jhenifer e Lineu === 13/09 == - Explorar o {{ :disciplinas:ce092-2018-02:ranef01.r |arquivo de comandos}} visto em aula. - Procure mudar termos e opções para verificar os efeitos - Escrever um código para estimar os parâmetros do modelo discutido em aula === 18/09 == - O {{ :disciplinas:ce092-2018-02:ranef01.r |arquivo de comandos}} visto na aula passada foi atualizado. - Procure mudar termos e opções para verificar os efeitos - Montar a matriz adequada para ajustar uma regressão linear para cada grupo, com os coeficientes da regressão considerados como aleatórios. Contraste com a regressão ajustada para cada grupo. === 18/09 == - O {{ :disciplinas:ce092-2018-02:ranef01.r |arquivo de comandos}} visto na aula passada foi novamente atualizado incluindo agora estimação de parâmetros. === 29/09 === - [[http://leg.ufpr.br/~paulojus/embrapa/Rembrapa/Rembrapase27.html#x29-18300027|Um outro exemplo de códigos com uma análise similar]]. Modificar os códigos se necessário para nova versão da **lme4**. Interpretar os resultados e extrair resumos interessantes da análise. - Estudar o artigo de Singer et.al. Confiabilidade e Precisão na Estimação de Médias\\ Julio M. Singer, Carmen Diva Saldiva de André, Clóvis de Araújo Peres\\ **Confiabilidade e Precisão na Estimação de Médias**\\ [[http://www.rbes.ibge.gov.br/images/doc/rbe_236_jan_jun2012.pdf|Revista Brasileira de Estatística, v73]], n. 236, jan./jun. 2012. - Escrever códigos que reproduzam as análises do artigo Local Concentra 1 170,6 1 154,7 1 136,4 1 153,1 2 68,0 2 66,4 2 70,3 2 71,1 3 151,5 3 138,0 3 128,4 3 118,1 4 153,9 4 149,1 4 147,5 4 103,8 5 83,9 5 101,4 5 117,3 5 114,1 - [[http://www.leg.ufpr.br/~walmes/ensino/extensoes/tutorials/02-mixed-models.html|Material modelos mistos na análise de experimentos do Prof. Walmes]] === 09/10 === - {{ :disciplinas:ce092-2016-02:singer.dat |Dados do artigo }} - {{:disciplinas:ce092-2016-02:codigo.r|Códigos reproduzindo alguns resultados do artigo}} de Singer et. al. === 22/10 === Simular dados para cada uma das situações a seguir. Em cada caso fazer gráficos adequados dos dados simulados. Considerar diferentes cenários na simulação. - Simular dados do modelo para grupos de observações, semelhante utilizado no artigo de Singer et al. - Simular dados do modelo longitudinal com efeito linear no tempo e intercepto aleatório. - Simular dados do modelo longitudinal com efeito linear no tempo e intercepto e inclinação aleatórios. === 24/10 === - Simular dados para cada uma das situações anteriores porém agora resposta Poisson. Em cada caso fazer gráficos adequados dos dados simulados. Considerar diferentes cenários na simulação. - Ajustar modelos aos dados simulados usando a ''lme4:::lmer()'' - Escrever a expressão da verossimilhança para o modelo Poisson con efeito aleatório em grupos de observações (situação 1 das simulações) - **Desafio**: escrever um código para estimar os parêmetros no primeiro caso e comparas suas estimativas com a da ''lme4:::glmer()'' === 07/11 === - {{ :disciplinas:ce092-2018-02:intro-trees.r |Arquivo de comandos}} visto em aula === 22/11 === - {{ :disciplinas:ce092-2018-02:cribari-soares-heterocedasticos.pdf |Artigo}} sobre modelos heterocedásticos - [[http://cran.r-project.org/web/packages/quantreg/vignettes/rq.pdf|Documentação do pacote]] (excelente texto explicativo) - {{ :disciplinas:ce092-2018-02:introquant.r |arquivo de comandos}} sobre regressão quantílica visto em aula === 27/11 === - {{ :disciplinas:ce092-2018-02:arvores_2018.pdf |Apresentação}} - {{ :disciplinas:ce092-2018-02:arvores_2018.r |Códigos}}