METODOLOGIA DE REVISÃO SISTEMÁTICA DA LITERATURA
Resumo: A decisão de qual metodologia usar para selecionar os estudos mais relevantes e mais aderentes
ao tema pesquisado constitui fator crítico para o desempenho da publicação e ainda é um grande desafio
para acadêmicos de todo o mundo. Esta pesquisa demonstra a sequencia de etapas de uma metodologia de
Revisão Sistemática da Literatura (RSL): formulação da questão, localização dos estudos, avaliação e
seleção dos estudos, análise e síntese, e relatar e usar os resultados. De acordo com a estruturação de
preferências do decisor(es) da pesquisa, podem existir diversos procedimentos de análise e critérios de
avaliação possíveis que podem ser considerados para a seleção dos principais artigos representativos do
estado da arte. A partir disso, objetiva-se apresentar o desenvolvimento de metodologia RSL com o uso de
método multicritério de apoio à decisão. Para isso, propõe-se a utilização do método SMARTER (Simple
Multi-Attribute Rating Technique using Exploiting Rankings) e descreve-se uma aplicação numérica para
resolução da questão.
INTRODUÇÃO
Cada vez mais os pesquisadores estão inseridos em um ambiente dinâmico e globalizado,
que requer deles a capacidade de tomar decisões de forma eficaz, trazendo reconhecimento e
destaque em suas publicações. Dentre os diversos tipos de decisão presentes durante o processo de
desenvolvimento de uma pesquisa, a decisão de qual metodologia usar para selecionar os estudos
mais relevantes e mais aderentes ao tema pesquisado constitui fator crítico para o desempenho da
publicação e ainda é um grande desafio para acadêmicos de todo o mundo.
De acordo com Ravindran et Shankar (2015), revisões sistemáticas são caracterizadas por
uma questão explícita, definida claramente, uma pesquisa abrangente e sistemática de estudos,
uma estratégia reprodutível explícita para o rastreio e inclusão de estudos, uma extração de dados
(codificação) reprodutível explícita, análise apropriada e apresentação dos resultados,
interpretações apoiadas por dados, e implicações para futuras pesquisas e se for o caso, para a
política ou prática. Para MacLure et al. (2016), as razões para usar uma RSL são:
Identificar, avaliar e interpretar evidências de pesquisa disponíveis relevantes para
um tópico específico;
Ajudar a informar práticas e políticas, fornecendo evidências integradas e
imparciais nas quais as decisões de baseiem;
Identificar lacunas na literatura para informar estudos futuros;
Minimizar tendências, usando métodos explícitos e sistemáticos.
Além disso, a necessidade de ferramentas que ajudem os pesquisadores na tomada de
decisão é urgente, tendo em vista as interações complexas, sociais, políticas e económicas com os
sistemas naturais. Com isso, modelos matemáticos práticos juntamente com soluções tecnológicas
e analíticas podem ser ferramentas importantes para o apoio a decisão do mundo real, sendo cada
vez mais evidente a importância de ter os modelos, ferramentas e metodologias certos na tomada
de decisões (GONZALEZ et al., 2015).
A partir disso, esta pesquisa objetiva propor uma metodologia de revisão sistemáticada
literatura com base em método multicritério. A finalidade de uma revisão sistemática é localizar
os estudos mais relevantes existentes com base em questões de pesquisa formuladas anteriormente
para avaliar e sintetizar suas respectivas contribuições. Escolheu-se o método SMARTER (Simple
Multi-Attribute Rating Technique using Exploiting Rankings), como ferramenta para apoio a
decisão na seleção e a priorização de um conjunto de critérios considerados pela literatura como
essenciais para representar o estado da arte do tema objeto da pesquisa. Esse método possui as
seguintes características: (i) lógica rigorosa permite a aceitação do método como ferramenta de
apoio à decisão; (ii) simples de ser entendido e aplicado com resultados de fácil interpretação.
O item 2 estrutura um referencial teórico sobre revisão sistemática da literatura, assim
como critérios usados para a seleção de artigos e apoio a decisão multicritério, com destaque para
o modelo SMARTER. No item 3, descreve-se a abordagem metodológica. O item 4 realiza uma
aplicação numérica do SMARTER, para um problema exemplificativo e, por fim, o item 5
apresenta as conclusões do trabalho e lista sugestões para futuros trabalhos no tema abordado.
1. REFERENCIAL TEÓRICO
2.1 Revisão Sistemática da Literatura
Conforme o Cochrane (2006) a preparação e manutenção de uma revisão sistemática da
literatura (RSL) envolve sete etapas: (i) formular o problema, (ii) localizar e selecionar os estudos,
(iii) avaliar a qualidade dos estudos, (iv) coletar dados, (v) analisar e apresentar os resultados, (vi)
interpretar os resultados e (vii) melhorar e atualizar as revisões.
Entretanto, de acordo com pesquisas na área de gestão (Denyer et Tranfield, 2009; De
Medeiros et al., 2014; Garza-Reyes, 2015), a RSL consiste em cinco fases consecutivas: (1)
formulação da questão, (2) localização dos estudos, (3) avaliação e seleção dos estudos, (4) análise
e síntese, e (5) relatar e usar os resultados.
Para Briner et Denyer (2012) a revisão só será classificada como RSL se aderir os
seguintes princípios: (1) ser conduzida por um sistema ou método sistemático, (2) apresentar
método transparente e explícito, (3) replicável e atualizável, (4) resumir e sintetizar as evidências
relativas a questão da revisão.
Uma boa revisão sistemática é baseada em uma questão de pesquisa bem formulada e que
se possa responder, pois guiará a revisão definindo quais estudos serão incluídos, que estratégia de
busca utilizar para identificar os estudos primários e quais dados precisam ser extraídos de cada
estudo (COUNSELL, 1997).
De acordo com Briner et Denyer (2012), antes de realizar a revisão e começar a busca por
estudos relevantes, deve ser desenvolvido um protocolo que se baseie e seja incorporado às
questões da revisão, na forma de um plano de projeto.
De acordo com Gough et al. (2012) com o intuito de conduzir uma RSL um grupo de
acadêmicos com formação multidisciplinar deve desenvolver um protocolo de revisão que servirá
como principal diretriz para os seguintes passos: operacionalização dos principais conceitos;
identificação das palavras-chave ecaracteres de pesquisa (search strings); identificação de
critérios de inclusão; identificação de critérios de exclusão; operação de pesquisa final; rastreio de
referências com base em títulos e abstracts; execução da síntese e posteriormente, com foco nos
artigos mais relevantes, condução da análise de contexto.
Entretanto, percebe-se que avaliar criticamente os estudos em relação aos critérios de
qualidade concebidos como parte do protocolo de revisão sistemática é uma das etapas mais
importantes e complexas, envolvendo subjetividades como o julgamento com base na “marca” da
revista em que o estudo foi publicado em vez de considerar sinais de qualidade como o fator de
impacto, a taxa de rejeição e se a revista é ou não reconhecida de alguma forma por escolas de
negócio altamente classificadas.
Conforme Denyer et Tranfield (2009), uma vez que todos os estudos relativos a questão da
pesquisa foram coletados e avaliados ocorrerá o processo de análise que objetiva examinar e
dissecar estudos individuais e explorar como os componentes se relacionam entre si. Alguns dos
principais métodos de análise são: a bibliométrica e a de conteúdo.
Para Du et al. (2013) a análise bibliométrica pode ocorrer por meio da estatística descritiva
e busca transformar algo intangível (qualidade científica) em uma entidade gerenciável, podendo
ser facilmente dimensionada do nível micro (cientista e instituto) até o nível macro (nacional e
global).
A análise de conteúdo visa garantir que os artigos selecionados abordam os temas centrais
da pesquisa e é composta de quatro estágios: (1) classificação do foco dos trabalhos, (2)
construção da estrutura analítica inicial e análise preliminar de uma amostra de 10 artigos, (3)
aperfeiçoamento da estrutura analítica anterior, resultando em uma estrutura analítica final, (4)
análise de todos os artigos (FIGUEIRÓ et RAUFFLET 2015).
Em seguida, após extrair os dados de estudos individuais, usando formulários de extração
que são adaptados às necessidades específicas de cada revisão, ocorrerá a síntese, processo de
colocação dos estudos individuais em conjunto em um arranjo novo ou diferente e de desenvolver
o conhecimento que não está aparente na leitura isolada dos estudos individuais (DENYER et
TRANFIELD 2009).
Dentre os métodos de síntese, Garza-Reyes (2015) afirma que um Mapa Conceitual seria
uma forma indutiva e clara de visualizar, organizar, categorizar e estruturar as áreas de
concentração e limitação dos temas da pesquisa, indicando até mesmo o número de artigos
publicados por categoria (correntes de pesquisa), de acordo com o foco/conteúdo temático e
estrutura de categorização do mapa.
2.2 Critérios para seleção de estudos
De acordo Kitchenham et al. (2010), a qualidade do constructo em uma revisão sistemática
da literatura pode ser verificada com as seguintes perguntas:
Os critérios de inclusão e exclusão da revisão descrita são adequados?
A pesquisa bibliográfica cobriu todas informações de estudos mais relevantes?
Será que os revisores avaliaram a qualidade ou validade dos estudos incluídos?
Quais são os objetivos da revisão?
Que fontes foram pesquisadas para identificar os estudos primários? Houve alguma
restrição?
Quais foram os critérios de exclusão e inclusão e como eles foram aplicados?
Que critérios foram utilizados para avaliar a qualidade dos estudos primários?
Como foram os critérios de qualidade aplicados?
Como foram os dados extraídos dos estudos primários?
Como os dados foram sintetizados?
Como as diferenças entre os estudos foram investigados?
Como os dados foram combinados?
Foi razoável para combinar os estudos?
Será que as conclusões decorrem as provas?
Para Bown et Sutton (2010), a abstração de dados (seleção dados a serem extraídos de cada
artigo contribuinte) e o formulário de extração de dados são partes essenciais de qualquer revisão
sistemática, sendo que muitas vezes, a abstração dependerá dos objetivos da revisão sistemática e
geralmente fará parte dos critérios de seleção para inclusão na pesquisa. A regra de ouro para a
extração de dados é que vários indivíduos executem de forma independente a extração de dados,
comparem os resultados e resolvam quaisquer discrepâncias por consenso.
Segundo Mendes et al. (2008), na etapa de estabelecimento de critérios para inclusão e
exclusão de estudos, o procedimento deve ser conduzido de maneira criteriosa e transparente, uma
vez que a representatividade da amostra é um indicador da profundidade das conclusões finais da
revisão e é importante que todas as decisões tomadas frente aos critérios sejam documentadas e
justificadas na descrição da metodologia da pesquisa.
No que diz respeito às leis clássicas, tem-se que a Lei de Bradford estima o grau de
relevância de periódicos em uma dada área de conhecimento; a Lei de Lotka estima o grau de
relevância de autores em uma dada área de conhecimento; e a Lei de Zipt foca na análise da
ocorrência de palavras em um texto científico e tecnológico particular com indexação automática
(FIGUEIREDO et al. 2015).
Além disso, uma análise considerada relevante por muitos autores no processo de seleção
de artigos diz respeito ao fator de impacto dos periódicos na comunidade científica. Para alguns a
relevância dos artigos pelo fator de impacto dos periódicos pode ser medida pelos indicadores
Journal Citations Report – JCR e SCImago Jornal & Country Rank. O JCR é uma ferramenta que
demonstra as citações dos periódicos, permitindo a comparação dos mesmos quanto ao
reconhecimento na comunidade científica e é publicado anualmente pela Thomson Reuters, sendo
um parâmetro mundialmente utilizado para avaliar a relevância produção científica dos periódicos.
Conforme Ensslin et al. (2013b), o método ProKnow-C (Knowledge Development Process
– Construtivist) surgiu publicamente em 2008 no Laboratório de Metodologias Multicritério em
Apoio à Decisão, com o intuito de construção de um conhecimento acerca de determinado tema,
para proporcionar o aprofundamento do aprendizado com os interesses e delimitações impostas
pelos autores, uma vez que o processo é construtivista. A partir disso, em pesquisa de Rosa et al.
(2015), os autores colocam como critério para filtragem de artigos a existência de reconhecimento
pela comunidade científica, sendo este verificado com base no Google Scholar, o qual apresenta
quando da digitação do título do artigo, o total de citações do mesmo.
Na pesquisa de Ensslin et al. (2013a), também utilizou-se o instrumento de intervenção
Proknow-C para selecionar o portfólio bibliográfico (conjunto de artigos relevantes sobre o tema)
e como critérios para escolha, foram analisados os artigos citados em referências bibliográficas
dos estudos, dando destaque a um autor com base no elevado número de citações. Os artigos
publicados antes de 2010 foram considerados como de baixo reconhecimento científico, o que
mostra a importância dada para o critério tempo com foco nas novidades. A relevância dos
periódicos foi verificada pelo número de publicações destes e também pelo fator de impacto na
comunidade científica, sendo que para a base de dados eletrônica ISI Web of Knowkedge, o
indicador utilizado é denominado JCR, e, na base Scopus, o indicador é o SJR. E, a frequência de
utilização de palavras-chave nos artigos do portfólio bibliográfico evidencia a efetividade do
processo de mapeamento de um tema.
Por outro lado, há pesquisadores que consideram autores mais antigos como os “clássicos”
ou pioneiros do assunto, sendo tidos por isso como referência em determinado assunto. Neste
caso, o critério tempo exprimiria maior relevância para os estudos oriundos do passado. Para
Calvino (1999), um clássico é uma obra que provoca incessantemente uma nuvem de discursos
críticos sobre si, mas continuamente a repele para longe. Com isso, o autor chama a atenção para o
perigo da bibliografia subjacente que com o tempo pode vir a se distanciar da obra e do
pensamento original dos autores (TEIXEIRA et al. 2011).
Dessa forma, percebe-se que podem existir diversos critérios para selecionar estudos mais
relevantes para representar determinado assunto, entre eles, destacam-se: frequência de palavras-
chave; fator de impacto dos periódicos; quantidade de citações do estudo; temporalidade, mais
antigos ou mais recentes; e importância dos autores. Alguns critérios são objetivos e outros como
tempo e importância são subjetivos e podem variar conforme o objetivo dos pesquisadores e
assunto da pesquisa.
2.3 Apoio à decisão multicritério
O apoio à decisão multicritério ou tomada de decisão multicritério é um conjunto de
métodos e técnicas para ajudar e apoiar as pessoas e organizações a tomar decisões sob a
influência de uma variedade de critérios e está firmemente enraizada em um conceito alternativo
de otimização em que vários critérios caracterizam a alternativa mais satisfatória.
Um problema de decisão multicritério consiste numa situação, em que há pelo menos duas
alternativas de ação para se escolher, e essa escolha é conduzida pelo desejo de se atender a
múltiplos objetivos, muitas vezes conflitantes entre si (ALMEIDA, 2013).
Segundo Priori Filho (2009), processos de tomada de decisão que envolvam alto grau de
complexidade não estão baseados em apenas um critério, devendo haver o estudo e consideração
de forma comparativa de diversos fatores de diferentes importâncias para que seja definido o peso
relativo de cada um na estruturação e solução do problema.
Uma vasta gama de abordagens de Apoio Multicritério à Decisão tem sido propostas na
literatura, tais como o método da análise hierárquica ou AHP (abreviação do inglês Analytic
Hierarchy Process), a análise de rede ou ANS (do inglês Analytic Network Process), o raciocínio
baseado em casos ou CBR (do inglês Case-Based Reasoning), a análise envoltória de dados ou
DEA (do inglês Data Envelopment Analysis), teoria dos conjuntos Fuzzy, o algoritmo genético, a
programação matemática, o método SMART (simple multi-attribute rating technique), e seus
híbridos.
Para Almeida (2013), para resolver problemáticas de ordenação é comum o uso dos
métodos de agregação aditivos, vistos como métodos compensatórios em que a avaliação de uma
alternativa considera os trade-offs entre os critérios, ou compensações como no caso dos métodos
Teoria da Utilidade Multi-Atributo (do inglês Multi-Atribute Utility Theory – MAUT), SMART
(do inglês Simple Multi-Attribute Rating Technique) e suas variações.
Conforme Olson (1996), embora o método SMART, forneça um meio simples de
implementar os princípios da MAUT, não requeira julgamento de preferência ou indiferença entre
alternativas hipotéticas e forneça um meio de aplicar os princípios da MAUT sem a necessidade
de um software complexo, ele apresenta um erro intelectual.
A partir disso, o problema do SMART foi sanado através da inovação desenvolvida no
SMARTS, chamada troca de pesos (do inglês Swing Weights,), que tem por finalidade elicitar as
importâncias relativas dos critérios e os respectivos pesos (Edwads et Barron, 1994). Além dessa
inovação, os autores também propuseram o método SMARTER (do inglês SMART Exploiting
Ranks) que tem com o objetivo definir os pesos de cada critério de acordo com as suas
importâncias relativas; essa abordagem é conhecida como exploração das ordenações dos critérios
(do inglês Exploiting Ranks).
O método SMARTER usa classificação de pesos de Barron and Barrett (1995) para
eliminar a etapa de julgamento mais difícil na SMARTS. Com isso, o SMARTER é considerado
uma simplificação do SMARTS porque torna mais fácil a obtenção de escala, principalmente se o
decisor não desejar efetuar a elicitação, utilizando um procedimento de “peso por swing” para a
obtenção das constantes de escala, além de considerar funções valor lineares para avaliação
intracritério (avaliação de cada alternativa i para cada critério j), o que simplifica as hipóteses no
processo de análise (ALMEIDA, 2013).
A importância relativa dos objetivos baseia-se na ordem dos objetivos usando o método do
centroide (Kmietowicz et Peannan, 1984; Olson et Dorsal, 1992) que usa ordem de classificação
para estimar o conjunto de pesos, minimizando erro máximo, identificando o centroide de todos os
possíveis pesos, mantendo a ordem de classificação da importância objetiva.
As etapas do SMARTER são as mesmas do SMARTS, com exceção de que enquanto
SMARTS requer a difícil segunda etapa de obter pesos de julgamento, SMARTER substitui esta
operação difícil por um cálculo com base no resultado da primeira etapa.
Etapa 1: Identificar a proposta de decisão (objetivos) e os decisores;
Primeiramente, devem ser identificar o objetivo da elicitação dos valores, assim como o
indivíduo, organização ou organizações cujos valores devem ser elicitados.
Etapa 2: Elicitar hierarquia de objetivos;
Essa etapa consiste em elicitar uma hierarquia dos objetivos ou árvore de valores ou
elicitar uma lista de atributos potencialmente relevantes aos propósitos da elicitação dos valores de
cada decisor ou grupo de decisores.
Etapa 3: Identificar alternativas (objetos de avaliação);
Essa etapa consiste em identificar os resultados de possíveis ações, é um processo de coleta
de dados. Se os objetivos da elicitação não especificaram os objetos de avaliação, utilizar a
estrutura de atributos definidas na etapa 2 para criá-los.
Etapa 4: Desenvolver dimensões para a matriz de atributos;
Formular uma matriz para avaliação de objetos por atributos. Os dados de entrada devem
ser as pontuações relacionadas com utilidades ou valores. A matriz consistiria de medidas que
representam o quão bem cada alternativa considerada desempenhou-se em cada objetivo. As
pontuações não precisam ser utilidades unidimensionais numa escala cardinal, precisam apenas ser
números tais que um maior número seja preferível a um menor (utilidade ordinal).
Etapa 5: Eliminar alternativas dominadas;
Eliminar opções ordinalmente dominadas. Dominância ordinal pode ser identificada por
inspeção visual, enquanto dominância cardinal é mais difícil de detectar, mas se identificadas, as
alternativas dominadas deverão ser eliminadas, o que reduz o número de alternativas. O número
de opções será reduzido, mas a escala de atributos não deve ser afetada. Se a opção dominada
eliminada afetar a escala de atributos, é analisado se o atributo é digno de ser considerado, se não
for retorna-se a etapa 2 para eliminá-lo
.
Etapa 6: Desenvolver utilidades unidimensionais;
Essa etapa consiste em reformular as entradas da matriz de objetos x atributos para
utilidades unidimensionais e converte as medidas de realização de cada objetivo em uma
pontuação de valor, com 0 representando a pior pontuação plausível possível e 1 a melhor
pontuação plausível possível. As entradas da tabela são utilidades unidimensionais numa escala
cardinal. Para isso, testa-se inicialmente a linearidade das utilidades unidimensionais para cada
dimensão nas quais pontuações físicas estão disponíveis.
1. Se o uso da linearidade como uma aproximação for justificável, utilizar a escala de classificação
ou uma faixa mais ampla para especificar os limites inferior e superior das funções utilidade
unidimensionais. Calcula-se as utilidades unidimensionais por meio de equações lineares para
estas funções ou plotando as funções como gráficos e verificando os pontos de interesse na curva.
Se as pontuações estiverem disponíveis, mas o teste de linearidade falhar, pode-se utilizar
qualquer método de elicitação para utilidades unidimensionais descritos em Von Winterfeldt et
Edwards (1986). Uma última tarefa é testar a monotonicidade condicional. Se estiver presente,
passa a ser considerado que o modelo aditivo pode ser utilizado. Também será considerado a
linearidade das utilidades unidimensionais ou que estas foram elicitadas de maneira direta.
Etapa 7: Ordenar objetivos (dimensões);
Consiste na etapa inical do “swing weghts” em que se pergunta ao decisor qual dimensão
ele melhoraria caso existisse uma alternativa que tivesse a pior pontuação para todos os critérios
analisados e houvesse a oportunidade de trocar a avaliação de em uma das dimensões do pior
valor para o melhor dentre as alternativas. Essa hipótese se repete até que todas as dimensões
sejam ordenadas.
Etapa 8: Elicitar utilidade multiatributo;
Nessa etapa pode-se usar uma tabela fornecida por Edwads et Barron (1994) ou a equação
para calcular os pesos diretamente. Utilizam-se valores pré-determinados denominados ROC
weights (Rank Order Centroid weights) para os pesos, simplificando a obtenção das utilidades
multiatributo. Se , então o “peso” do k-ésimo atributo é .
Definidos os ROC weights, calculam-se todas as utilidades multiatributo .
Etapa 9: Decidir
A decisão recomendada é pela alternativa que obtiver o maior valor de utilidade global U.
2. ABORDAGEM METODOLÓGICA
Essa pesquisa pode ser classificada como exploratória e descritiva. A pesquisa exploratória
porque o objetivo é levantar informações de critérios usados para seleção de estudos durante uma
pesquisa, a fim de verificar a ordenação de importância destes em uma RSL. É também descritiva
porque busca revelar as etapas de uma revisão sistemática da literatura, seus desafios e vantagens.
O método de elaboração da pesquisa é a pesquisa bibliográfica em bases de dados eletrônicas
sobre métodos associados à RSL e às aplicações do SMARTER.
O trabalho realizado é de caráter quali-quantitativo. A análise qualitativa dos dados é
realizada de forma intuitiva e indutiva durante o levantamento do referencial teórico. É também
quantitativo pelo emprego do método multicritério.
3. APLICAÇÃO DO MÉTODO SMARTER
A aplicação do método SMARTER ocorrerá na etapa de avaliação e seleção de estudos que
consiste na terceira fase da revisão sistemática da literatura (Garza-Reyes, 2015) e pode variar de
acordo com diversos critérios. A utilização do modelo é genérica, pois busca analisar os aspectos
mais encontrados na literatura de seleção de estudos, sendo recomendada as etapas para aplicação
do SMARTER descrita em Edwards et Barron (1994):
Etapa 1 – Objetivos e Decisor: o modelo tem como objetivo ordenar alternativas de artigos
para selecionar o estado da arte.
Etapa 2 – Árvore de Valor: na Figura 3 está representada a hierarquia dos atributos
definidos para valorar as alternativas / ações.
Etapa 9 – Decisão: A partir da Tabela 9, escolhe-se a alternativa com maior valor de
utilidade global U. Neste caso, o modelo recomenda a escolha de A4, ou seja, o artigo de título:
“Concepts and Definitions of CSR and Corporate Sustainability: Between Agency and
Communion” seria a escolha mais satisfatória de um decisor racional, buscando representar o
estado da arte do assunto pesquisado que neste exemplo é a sustentabilidade.
4. CONCLUSÕES
Este trabalho procurou descrever o problema seleção de artigos em uma revisão sistemática
da literatura. Foi proposta a utilização do método multicritério SMARTER para a solução de
problemas, de modo a considerar, durante o processo decisório, os múltiplos atributos envolvidos
e a subjetividade inerente à definição da seleção e escolha de estudos.
Para exemplificar o uso do SMARTER, foi realizada uma aplicação numérica com
números fictícios, porém num contexto realístico. O método SMARTER mostrou-se bastante
eficaz na resolução do problema, pois se apresenta de forma simples e metodologicamente
estruturado no que concerne ao tratamento multicritério ao problema.
Para futuros pesquisas sobre modelo de seleção de artigos multicritério para melhor
aderência e relevância da revisão sistemática propõe-se:
Utilizar outros modelos multicritério que considerem um critério único de síntese, tais
como MAUT e SMARTS;
Modelos baseados na integração de metodologias do Apoio Multicritério à Decisão e de
programação matemática.
A incorporação de outros critérios ao modelo, tais como área(s) do conhecimento,
disponibilidade e linguagem do estudo por exemplo.
Análise de sensibilidade dos resultados, buscando dar maior robustez ao método de decisão
utilizado;
REFERÊNCIAS BIBLIOGRÁFICAS
ALMEIDA, A.T. Processo de Decisão nas Organizações. Construindo modelos de multicritério
– SãoPaulo: Atlas, 2013.
BARNETT-PAGE, E., THOMAS, J. Methods for the synthesis of qualitative research: a
critical review. BMC Med. Res. Methodol. 9 (59), 1e11. 2009.
BARRON, F.H., BARRETT, B.E. Working paper. Decision quality using ranked and partially
ranked attribute weights. 1995.
BARRON, A.H.; BARRETT, B.E. The efficacy of SMARTER – Simple Multi-Attribute Rating
Technique Extended to Ranking. Acta Psychologica, v.93, p.23-36, 1996.
BOWN, M.J., SUTTON, A.J. Quality Control in Systematic Reviews and Meta-analyses. Eur J
Vasc Endovasc Surg 40, 669e677, 2010.
BRINER, R.B., DENYER, D. Systematic Review and Evidence Synthesis as a Practice and
Scholarship Tool. Handbook of Evidence-based Management: Companies, Classrooms and
Research, pp. 112e129. 2012.
CALVINO, I. (Tradução Nilson Moulin). Por que ler os clássicos. São Paulo: Companhia das
Letras, 1999.
COUNSELL, C. Formulating questions and locating primary studies for inclusion in
systematic reviews. Annals of Internal Medicine, 127, 380-387. 1997.
DENYER, D., TRANFIELD, D. Producing a systematic review. In D. A. Buchanan & A.
Bryman (Eds.), The SAGE handbook of organizational research methods (pp. 671–689). London:
Sage Publications Ltd. 2009.
DE MEDEIROS, J.F., RIBEIRO, J.L.D., Cortimiglia, M.N., Success factors for environmentally
sustainable product innovation: A systematic literature review. J. Clean. Prod. 65, 76–86. 2014.
doi:10.1016/j.jclepro.2013.08.035.
DU, H., WEI, L., BROWN, M. A., WANG, Y., SHI, Z. A bibliometric analysis of recent energy
efficiency literatures: an expanding and shifting focus. Energy Efficiency 6:177–190. 2013.
DOI 10.1007/s12053-012-9171-9.
EDWARDS, W; BARRON, F. H. SMARTS and SMARTER: Improved Simple Methods for
Multiattribute Utility Measurement. Organizational Behavior and Human Decision Processes,
v.60, p.306-325, 1994.
ENSSLIN, L.; ENSSLIN, S. R.; PINTO, H.M. Processo de Investigação e Análise
Bibliométrica: Avaliação da Qualidade dos Serviços Bancários. RAC, Rio de Janeiro, v. 17, n.
3, art. 4, pp. 325-349, Maio/Jun. 2013a.
ENSSLIN, S. R.; ENSSLIN, L.; LACERDA, R. T. O.; MATOS, L. S. Evidenciação do Estado
da Arte do Tema Avaliação do Desempenho na Regulação de Serviços Públicos Segundo a
Percepção dos Pesquisadores. Revista Gestão Pública: Práticas e Desafios, Recife, v. IV, n. 7,
ago. 2013b.
FIGUEIRÓ, P.S., RAUFFLET, E. Sustainability in Higher Education: A systematic review with
focus on management education. J. Clean. Prod. 106, 22–33, 2015.
doi:10.1016/j.jclepro.2015.04.118
FIGUEIREDO, R., FERREIRA, J., MARQUES, C., VIEIRA, J., Knowledge Intensive Business
Services (KIBS): A Decade of Development to Innovation. Business and Management Review.
v.4, N.5, January, 2015.
GARZA-REYES, J.A., Green lean and the need for Six Sigma. Int. J. Lean Six Sigma 6, 226–248,
2015. doi:10.1108/IJLSS-04-2014-0010
GONZALEZ, E.D.R.S., SARKIS, J., HUISINGH, D., HUATUCO, L.H., MACULAN, N.,
MONTOYA-TORRES, J.R., ALMEIDA, C.M.V.B. Making real progress toward more
sustainable societies using decision support models and tools: Introduction to the special
volume. J. Clean. Prod. 105, 1–13, 2015. doi:10.1016/j.jclepro.2015.05.047
GOUGH, D.; OLIVER, S.; THOMAS, J. An Introduction to Systematic Reviews; SAGE:
London, UK, 2012.
KITCHENHAM, B., PRETORIUS, R., BUDGEN, D., BRERETON, O.P., TURNER, M., NIAZI,
M., LINKMAN, S. Systematic literature reviews in software engineering – A tertiary study,
52, 792-805. 2010.
KMIETOWICZ, A.W. AND PEARMAN, A.D. Decision theory, linear partial information and
statistical dominance. Omega 12,391-399, 1984.
LOPES, Y. G., ALMEIDA, A. T. Enfoque multicritério para a localização de instalações de
serviço: aplicação do método SMARTER. Revista Eletrônica Sistemas & Gestão 3 (2) 114-128.
2008.
MACLURE, K., PAUDYAL, V., STEWART, D. Reviewing the literature, how systematic is
systematic? Int J Clin Pharm. March 2016. DOI 10.1007/s11096-016-0288-3
MENDES, K.D.S., SILVEIRA, R.C.C.P., GALVÃO, C. M. Revisão integrativa: método de
pesquisa para a incorporação de evidências na saúde e na enfermagem. Texto Contexto
Enferm, Florianópolis, Out-Dez; 17(4): 758-64, 2008.
OLSON, D.L. AND DORAI, V.K. Implementation of the centroid method of Solymosi and
Dombi. European Journal of Operational Research 60: 1, 117-129. 1992.
OLSON, D. L. Decision Aids for Selection Problems. Springer Series in Operations Research.
1996.
PRIORI FILHO, A. Modelo Multicritério para Priorização de Ações Estratégicas na
Implantação de Unidade Industrial Utilizando Métodos SMART/SMARTER, 2009.
RAVINDRAN, V., SHANKAR, S. Systematic reviews and meta-analysis demystified. Indian J.
Rheumatol. 10, 89–94. 2015.
ROSA, P. A., PETRI, S. M., MATOS, L.S., ENSSLIN, S.R., FERREIRA, L.F. Avaliação de
Desempenho no Planejamento Tributário: Aplicação do Processo PROKNOW-C em
International Electronic Libraries. Revista Evidenciação Contábil & Finanças, ISSN 2318-
1001, João Pessoa, v. 3, n. 1, p. 69-83, jan./abr. 2015.
TEIXEIRA, J.C., ZANOTELI, E.J., CARRIERI, A.P. A Importância dos Clássicos na
Formação do Pesquisador: o que nos diz os Conceitos de Socialização, Identificação e Campo
Intelectual como Campo de Poder. III Encontro de Ensino e Pesquisa em Administração e
Contabilidade. João Pessoa/PB, novembro de 2011.
VON WINTERFELDT, D.; EDWARDS, W. Decision Analysis and behavioral research. New
York: Cambridge University Press, 1986.
Facebook Comentários
WhatsApp 11-99832-9604