Não foi possível enviar o arquivo. Será algum problema com as permissões?
Diferenças
Aqui você vê as diferenças entre duas revisões dessa página.
Ambos lados da revisão anterior Revisão anterior Próxima revisão | Revisão anterior | ||
projetos:gem2 [2011/07/02 17:21] walmes [Histórico] |
projetos:gem2 [2011/10/18 10:07] (atual) eder [section 5] |
||
---|---|---|---|
Linha 16: | Linha 16: | ||
* [[pessoais:paulojus|Paulo Justiniano Ribeiro Jr]] | * [[pessoais:paulojus|Paulo Justiniano Ribeiro Jr]] | ||
* [[pessoais:silvia|Silvia Emiko Shimakura]] | * [[pessoais:silvia|Silvia Emiko Shimakura]] | ||
+ | * [[pessoais:elias|Elias Teixeira Krainski]] | ||
* [[pessoais:wbonat|Wagner Hugo Bonat]] | * [[pessoais:wbonat|Wagner Hugo Bonat]] | ||
* [[pessoais:walmes|Walmes Marques Zeviani]] | * [[pessoais:walmes|Walmes Marques Zeviani]] | ||
Linha 25: | Linha 26: | ||
---- | ---- | ||
- | ==== Scripts ==== | + | ==== Scripts & Códigos==== |
* {{:pessoais:mixedeffects.r|Random Effects - Faraway}} | * {{:pessoais:mixedeffects.r|Random Effects - Faraway}} | ||
+ | * {{:pessoais:reml.r|REML e ML}} Comparação entre verossimilhança (ML) e verossimilhança residual (REML) em modelos mistos | ||
* [[http://www.maths.bath.ac.uk/~jjf23/ELM/scripts/|Scritps]] Extending the Linear Model with R | * [[http://www.maths.bath.ac.uk/~jjf23/ELM/scripts/|Scritps]] Extending the Linear Model with R | ||
* [[http://www.maths.bath.ac.uk/~jjf23/ELM/mixchange.pdf| Random Effects]] Material Atualizado do livro | * [[http://www.maths.bath.ac.uk/~jjf23/ELM/mixchange.pdf| Random Effects]] Material Atualizado do livro | ||
- | * [[http://www.ebah.com.br/content/ABAAAAG_sAC/modelos-lineares|João Gil de Luna ]] | + | * {{:pessoais:pql.r|PQL para dados Poisson com efeito aleatório individual não estruturado (Silvia)}} |
---- | ---- | ||
+ | |||
+ | ==== Artigos ==== | ||
+ | *{{http://www.jstor.org/stable/pdfplus/2527669.pdf|The Estimation of Environmental and Genetic Trends from Records Subject to Culling}} | ||
+ | * {{http://www.sciencedirect.com/science/article/pii/S0022030278835905|Simulation of Examine Distributions of Estimators of Variances and Ratios of Variances}} | ||
+ | * {{http://www.jstor.org/stable/3001853|Estimation of Variance and Covariance Components}} | ||
+ | * {{http://www.sciencedirect.com/science/article/pii/S0022030291786013|C. R. Henderson: Contributions to Predicting Genetic Merit}} | ||
+ | * {{http://download.journals.elsevierhealth.com/pdfs/journals/0022-0302/PIIS002203027584776X.pdf|Rapid Method for Computing the Inverse of a Relationship Matrix}} | ||
+ | * {{http://www.jstor.org/pss/2529339|A simple method for computing the inverse of a numerator relationship matrix used in prediction of breeding values}} | ||
+ | * {{http://www.jstor.org/stable/2529430?&Search=yes&searchText=%22C.+R.+Henderson%22&list=hide&searchUri=%2Faction%2FdoBasicSearch%3FQuery%3Dau%253A%2522C.%2BR.%2BHenderson%2522%26wc%3Don&prevSearch=&item=3&ttl=373&returnArticleService=showFullText|Best Linear Unbiased Estimation and Prediction under a Selection Model}} | ||
+ | * {{http://www.jstor.org/stable/2530609?&Search=yes&searchText=%22C.+R.+Henderson%22&list=hide&searchUri=%2Faction%2FdoBasicSearch%3FQuery%3Dau%253A%2522C.%2BR.%2BHenderson%2522%26wc%3Don&prevSearch=&item=5&ttl=373&returnArticleService=showFullText|Variance-Covariance Matrix of Estimators of Variances in Unweighted Means ANOVA}} | ||
+ | * {{http://www.jstor.org/stable/2529264?seq=10|A Comparison of Variance Component Estimators}} | ||
+ | | ||
==== Slides, notas de aula e apostilas ==== | ==== Slides, notas de aula e apostilas ==== | ||
Linha 77: | Linha 91: | ||
* {{http://www.google.com/search?client=ubuntu&channel=fs&q=restricted+maximum+likelihood+estimation+of+variance+components+in+generalized+linear+mixed+models&ie=utf-8&oe=utf-8#hl=pt-BR&client=ubuntu&hs=tLi&channel=fs&q=restricted+maximum+likelihood+estimation+of+variance+components+in+generalized+linear+mixed+models+filetype:ps&aq=f&aqi=&aql=&oq=&pbx=1&bav=on.2,or.r_gc.r_pw.&fp=7992793a42cf0be6&biw=1760&bih=849|Thomas Kneib - Restricted maximum likelihood estimation of variance components in generalized linear mixed models}}; =) | * {{http://www.google.com/search?client=ubuntu&channel=fs&q=restricted+maximum+likelihood+estimation+of+variance+components+in+generalized+linear+mixed+models&ie=utf-8&oe=utf-8#hl=pt-BR&client=ubuntu&hs=tLi&channel=fs&q=restricted+maximum+likelihood+estimation+of+variance+components+in+generalized+linear+mixed+models+filetype:ps&aq=f&aqi=&aql=&oq=&pbx=1&bav=on.2,or.r_gc.r_pw.&fp=7992793a42cf0be6&biw=1760&bih=849|Thomas Kneib - Restricted maximum likelihood estimation of variance components in generalized linear mixed models}}; =) | ||
* {{http://research.utar.edu.my/CMS/ICMSA2010/ICMSA2010_Proceedings/files/poster/P-Rashidi.pdf|Fit generalized linear mixed models (GLMM), using of different likelihoods}}; | * {{http://research.utar.edu.my/CMS/ICMSA2010/ICMSA2010_Proceedings/files/poster/P-Rashidi.pdf|Fit generalized linear mixed models (GLMM), using of different likelihoods}}; | ||
+ | * {{http://www.ebah.com.br/content/ABAAAAG_sAC/modelos-lineares|Modelos Lineares - João Gil de Luna}}; | ||
+ | * {{http://nlp.stanford.edu/~manning/courses/ling289/GLMM.pdf|Generalized Linear Mixed Models (illustrated with R on Bresnan et al.’s datives data)}}; | ||
---- | ---- | ||
Linha 84: | Linha 100: | ||
* Em <fc #008000>verde</fc>: conteúdo previsto para o próximo encontro; | * Em <fc #008000>verde</fc>: conteúdo previsto para o próximo encontro; | ||
- | ^ Data ^ Hora ^ Acontecimento ^ Apresentador ^ | + | ^ Data ^ Hora ^ Acontecimento ^ |
- | | 23/03/2011| 17:30 | Discussão inicial do grupo - Walmes, PJ , Éder, Renato| | | + | | 23/03/2011| 17:30 | Discussão inicial do grupo - Walmes, PJ , Éder, Renato| |
- | | 20/05/2011| 16:00 | Discussão sobre separação de atividades (Derivação das expressões, ML, REML, PQL, Inferência em MM, exemplos em genética e experimentação ) | | | + | | 20/05/2011| 16:00 | Discussão sobre separação de atividades (Derivação das expressões, ML, REML, PQL, Inferência em MM, exemplos em genética e experimentação ) | |
- | | 17/06/2011| 16:00 | Procedimento REML de estimação de componentes de variância em LMM (PJ). Implementação de funções de verossimilhança para estimação de parâmetros em GLMM sem e com estrutura para um fator de efeito aleatório (WB). | | | + | | 17/06/2011| 16:00 | Procedimento REML de estimação de componentes de variância em LMM (PJ). Implementação de funções de verossimilhança para estimação de parâmetros em GLMM sem e com estrutura para um fator de efeito aleatório (WB). | |
- | | 01/07/2011| 16:00 | Procedimentos PQL para modelos mistos na família exponencial (SS), métodos numéricos (Gauss-Hermite, Laplace, Quasi Monte Carlo) empregados para estimação em modelos mistos (WB). | | | + | | 01/07/2011| 16:00 | Procedimentos PQL para modelos mistos na família exponencial (SS), métodos numéricos (Gauss-Hermite, Laplace, Quasi Monte Carlo) empregados para estimação em modelos mistos (WB). | |
- | | 08/07/2011| 16:00 | <fc #008000>Implementação do procedimento REML (EB), PQL (SS) e predição de efeitos aleatórios (PJ).</fc> | | | + | | 08/07/2011| 16:00 | <fc #008000>Implementação do procedimento REML (EB), PQL (SS) e predição de efeitos aleatórios (PJ).</fc> | |
---- | ---- | ||
Linha 110: | Linha 125: | ||
==== Referências ==== | ==== Referências ==== | ||
- | === Artigos === | + | |
=== Livros === | === Livros === | ||
<bibtex> | <bibtex> | ||
Linha 187: | Linha 202: | ||
---- | ---- | ||
- | |||
- | ==== Códigos para modelos Mistos ==== | ||
- | === Exemplo Random Effects Faraway === | ||
- | <code R> | ||
- | ### Modelo mistos | ||
- | ### Exemplo retirado do capitulo Random Effeets do Faraway | ||
- | require(faraway) | ||
- | require(lme4) | ||
- | ###------------------------------------------------------------### | ||
- | ### Modelo simples com apenas um fator | ||
- | data(pulp) | ||
- | str(pulp) | ||
- | summary(pulp) | ||
- | op <- options(contrasts=c("contr.sum", "contr.poly")) | ||
- | ### Efeitos Fixos | ||
- | lmod <- aov(bright ~ operator, pulp) | ||
- | summary(lmod) | ||
- | summary.lm(lmod) | ||
- | coef(lmod) | ||
- | |||
- | sigma2alfa <- (0.447-0.106)/5 | ||
- | sigma2alfa | ||
- | |||
- | model.matrix(lmod) | ||
- | |||
- | modelo <- matrix(apply(model.matrix(lmod),1,function(x){coef(lmod)*x}),ncol=4,byrow=TRUE) | ||
- | compoF <- cbind(pulp$bright,modelo,lmod$res) | ||
- | colnames(compoF) <- c('var','Intercept','operator1','operator2','operator3','erro') | ||
- | compoF | ||
- | |||
- | rowSums(compoF[,-1]) | ||
- | compoF[,1] | ||
- | summary(lmod) | ||
- | |||
- | SQV <- sum(compoF[,1]^2) | ||
- | SQI <- sum(compoF[,2]^2) | ||
- | SQT <-sum(rowSums(compoF[,3:5])^2) | ||
- | SQE <- sum(compoF[,6]^2) | ||
- | |||
- | SQTc <- SQV-SQI | ||
- | SQTc | ||
- | SQT | ||
- | SQE | ||
- | summary(lmod) | ||
- | |||
- | SQTc | ||
- | SQT+SQE | ||
- | |||
- | ### Efeitos aleatorios | ||
- | mmod <- lmer(bright ~ 1+(1|operator), pulp) | ||
- | summary(mmod) | ||
- | str(mmod) | ||
- | |||
- | compoM <- matrix(0,nrow=20,ncol=3) | ||
- | compoM[,1] <- fixef(mmod) | ||
- | compoM[,2] <- rep(ranef(mmod)$operator[,1],each=5) | ||
- | compoM[,3] <- residuals(mmod) | ||
- | compoM <- cbind(pulp$bright,compoM) | ||
- | colnames(compoM) <- c('var','intercepto','efeito','erro') | ||
- | compoM | ||
- | |||
- | smod <- lmer(bright ~ 1+(1|operator), pulp,method="ML") | ||
- | summary(smod) | ||
- | |||
- | compoS <- matrix(0,nrow=20,ncol=3) | ||
- | compoS[,1] <- fixef(smod) | ||
- | compoS[,2] <- rep(ranef(smod)$operator[,1],each=5) | ||
- | compoS[,3] <- residuals(smod) | ||
- | compoS <- cbind(pulp$bright,compoS) | ||
- | colnames(compoS) <- c('var','intercepto','efeito','erro') | ||
- | compoS | ||
- | |||
- | SQE <- t(compoS[,'erro'])%*%compoS[,'erro'] | ||
- | SQE | ||
- | rowSums(compoS[,-1]) | ||
- | pulp$bright | ||
- | |||
- | ## Inferencia | ||
- | # Modelo nulo | ||
- | nullmod <- lm (bright ~ 1, pulp) | ||
- | summary(nullmod) | ||
- | |||
- | ##LRT | ||
- | tLRT <- as.numeric(2*(logLik(smod)-logLik(nullmod))) | ||
- | tLRT | ||
- | pchisq(tLRT,1,lower=FALSE) | ||
- | |||
- | ## Comparando os dois modelos | ||
- | anova(mmod,smod) | ||
- | |||
- | #bootstrap | ||
- | y <- simulate(nullmod,50) | ||
- | #y | ||
- | |||
- | ### Visualizando a simulação | ||
- | hist(pulp$bright,prob=T) | ||
- | apply(y,2,function(x){lines(density(x))}) | ||
- | lines(density(pulp$bright),lw=2,col='red') | ||
- | |||
- | ## Bootstrap | ||
- | lrstat <- numeric(1000) | ||
- | for(i in 1:1000){ | ||
- | y <- unlist(simulate(nullmod)) | ||
- | bnull <- lm(y ~ 1) | ||
- | balt <- lmer(y~1 + (1|operator),pulp,method="ML") | ||
- | lrstat[i] <- as.numeric(2*(logLik(balt)-logLik(bnull))) | ||
- | } | ||
- | |||
- | hist(lrstat) | ||
- | summary(lrstat) | ||
- | |||
- | mean(lrstat < 0.0001) | ||
- | |||
- | # pvalor bootstrap | ||
- | pb <- mean(lrstat > 2.5684) | ||
- | pb | ||
- | |||
- | ## Erro padrão boosstrap | ||
- | standErro <- sqrt(pb*(1-pb)/1000) | ||
- | standErro | ||
- | |||
- | # Prediçao | ||
- | ranef(mmod)$operator | ||
- | |||
- | cc <- model.tables(lmod) | ||
- | cc | ||
- | |||
- | ###Shirikange | ||
- | shir <- cc[[1]]$operator/ranef(mmod)$operator | ||
- | shir | ||
- | |||
- | blups <- fixef(mmod)+ranef(mmod)$operator | ||
- | blups | ||
- | |||
- | ## Residuos | ||
- | par(mfrow=c(1,2)) | ||
- | qqnorm(resid(mmod),main="") | ||
- | plot(fitted(mmod),resid(mmod),xlab="Fitted",ylab="Residuals") | ||
- | abline(0,0) | ||
- | |||
- | ###------------------------------------------------------------### | ||
- | ### Modelo com efeito de bloco | ||
- | rm(list=ls()) | ||
- | data(penicillin) | ||
- | summary(penicillin) | ||
- | |||
- | ## Modelo fixo | ||
- | op <- options(contrasts=c("contr.sum", "contr.poly")) | ||
- | lmod <- aov(yield ~ blend + treat, penicillin) | ||
- | summary(lmod) | ||
- | coef(lmod) | ||
- | |||
- | compoF <- matrix(0,nrow=20,ncol=4) | ||
- | compoF[,1] <- coef(lmod)[1] | ||
- | compoF[,2] <- rep(c(coef(lmod)[2:5],0-sum(coef(lmod)[2:5])),each=4) | ||
- | compoF[,3] <- rep(c(coef(lmod)[6:8],0-sum(coef(lmod)[6:8])),5) | ||
- | compoF[,4] <- lmod$res | ||
- | compoF <- cbind(penicillin$yield,compoF) | ||
- | colnames(compoF) <- c('var','intercepto','bloco','efeito','erro') | ||
- | compoF | ||
- | rowSums(compoF[,-1]) | ||
- | compoF[,1] | ||
- | |||
- | ## Modelo misto | ||
- | mmod <- lmer (yield ~ treat + (1|blend), penicillin) | ||
- | summary(mmod) | ||
- | |||
- | ranef(mmod)$blend | ||
- | fixef(mmod) | ||
- | |||
- | compoM <- matrix(0,nrow=20,ncol=4) | ||
- | compoM[,1] <- fixef(mmod)[1] | ||
- | compoM[,2] <- rep(ranef(mmod)$blend[,1],each=4) | ||
- | compoM[,3] <- rep(c(fixef(mmod)[2:4],0-sum(fixef(mmod)[2:4])),5) | ||
- | compoM[,4] <- residuals(mmod) | ||
- | compoM <- cbind(penicillin$yield,compoM) | ||
- | colnames(compoM) <- c('var','intercepto','bloco','efeito','erro') | ||
- | compoM | ||
- | rowSums(compoM[,-1]) | ||
- | compoM[,1] | ||
- | |||
- | anova(mmod) | ||
- | |||
- | amod <- lmer (yield ~ treat + (1|blend), penicillin,method="ML") | ||
- | nmod <- lmer (yield ~ 1 + (1|blend), penicillin,method="ML") | ||
- | anova(amod,nmod) | ||
- | |||
- | ## bootstrap | ||
- | lrstat <- numeric(1000) | ||
- | for(i in 1:1000){ | ||
- | ryield <- unlist(simulate(nmod)) | ||
- | nmodr <- lmer(ryield ~ 1 + (1|blend), penicillin,method="ML") | ||
- | amodr <- lmer(ryield ~ treat + (1|blend), penicillin,method="ML") | ||
- | lrstat[i] <- 2*(logLik(amodr)-logLik(nmodr)) | ||
- | } | ||
- | |||
- | plot(qchisq((1:1000)/1001,3),sort(lrstat),xlab=expression(chi[3]^2),ylab="Simulated LRT") | ||
- | abline(0,1) | ||
- | |||
- | mean(lrstat > 4.05) | ||
- | |||
- | rmod <- lmer(yield ~ treat + (1|blend), penicillin) | ||
- | nlmod <- lm(yield ~ treat, penicillin) | ||
- | 2* (logLik(rmod)-logLik(nlmod,REML=TRUE)) | ||
- | |||
- | lrstatf <- numeric(1000) | ||
- | for(i in 1:1000){ | ||
- | ryield <- unlist(simulate(nlmod)) | ||
- | nlmodr <- lm(ryield ~ treat, penicillin) | ||
- | rmodr <- lmer(ryield ~ treat + (1|blend), penicillin) | ||
- | lrstatf [i] <- 2*(logLik(rmodr)???logLik(nlmodr,REML=TRUE)) | ||
- | } | ||
- | |||
- | mean(lrstatf < 0.00001) | ||
- | |||
- | cs <- lrstatf[lrstatf > 0.00001] | ||
- | ncs <- length(cs) | ||
- | |||
- | plot(qchisq((1:ncs)/(ncs+1),1),sort(cs),xlab=expression(chi[1]^2),ylab="Simulated LRT") | ||
- | abline (0,1) | ||
- | |||
- | mean(lrstatf > 2.7629) | ||
- | |||
- | ###------------------------------------------------------------### | ||
- | ### Modelo em parcelas Subdivididas | ||
- | data(irrigation) | ||
- | str(irrigation) | ||
- | summary(irrigation) | ||
- | attach(irrigation) | ||
- | |||
- | ### Modelo com mais parametros que variáveis | ||
- | #lmod <- lmer (yield ~ irrigation * variety + (1|field) + (1|field:variety),data=irrigation) | ||
- | |||
- | lmodr <- lmer (yield ~ irrigation * variety + (1|field),data=irrigation) | ||
- | logLik(lmodr) | ||
- | summary(lmodr) | ||
- | |||
- | anova(lmodr) | ||
- | |||
- | mod <- aov(yield ~ irrigation * variety + Error(field),data=irrigation) | ||
- | summary(mod) | ||
- | |||
- | mod <- lm(yield ~ irrigation * variety+field/variety,data=irrigation) | ||
- | anova(mod) | ||
- | |||
- | model.matrix(mod) | ||
- | |||
- | </code> | ||
- | |||
- | ---- | ||
- | |||
- | |||