Leilões eletrônicos reversos multiatributo: uma abordagem de decisão multicritério aplicada às compras públicas brasileiras
Ronald do Amaral Menezes; Renaud Barbosa da Silva; Alexandre Linhares
RESUMO
Leilões são instituições seculares utilizadas nas relações comerciais entre indivíduos e organizações. Provêem maior flexibilidade aos processos de determinação de preços e alocação de bens, aumentando o espaço para negociações entre compradores e vendedores. Na Internet, têm sido empregados, de maneira crescente, em atividades de comércio eletrônico B2B e G2B, em sua maioria, através da modalidade de leilão reverso. No entanto, seu aspecto unidimensional reduz as negociações à variável preço, produzindo, muitas vezes, resultados aquém do desejado. No presente trabalho, os autores propõem uma abordagem de decisão multicritério, baseada na Teoria da Utilidade Multiatributo, como alternativa para a adoção de leilões reversos baseados em múltiplos atributos e, consequentemente, para maior agregação de valor pelas organizações compradoras do setor público brasileiro.
Palavras-chave: compras públicas; leilões reversos multiatributo; análise da decisão; teoria da utilidade multiatributo.
ABSTRACT
Auctions are secular institutions used in commercial relationships between individuals and organizations. They provide great flexibility to the purchasing process, increasing negotiations possibilities for buyers and sellers. They have been used successfully in the Internet, on an increasing basis both in B2B and G2B electronic commerce, mostly through reverse auctions. However, its one-dimensional view reduces negotiation to lower price practices and may occasionally produce undesirable results. In this paper, we propose a multi-criteria decision-making approach, based on Multi-attribute Utility Theory, as an alternative for the adoption of multi-attribute reverse auctions, adding value to Brazilian Public Buying Organizations.
Key words: public purchasing; multi-attribute reverse auctions; decision analysis; multi-attribute utility theory.
INTRODUÇÃO
Instituições de comércio seculares, os leilões se caracterizam pelo provimento de maior flexibilidade aos processos de determinação de preços, fruto de negociação mais ampla entre compradores e vendedores, que resulta em alocação mais eficaz dos bens ofertados. A partir da segunda metade da década de 1990, são empregados, com grande sucesso, em atividades de comércio eletrônico B2C e C2C, na Internet, com especial destaque para o site eBay, que registrou um volume de negócios da ordem de US$ 24 bilhões em 2003. Tal sucesso tem despertado o interesse da sua utilização em processos aquisitivos de organizações e governos, sobretudo através do instrumento de leilões reversos. Nessa modalidade, os compradores informam o preço máximo que admitem pagar por determinado bem ou serviço, e recebem lances decrescentes de fornecedores interessados.
Nas compras públicas brasileiras, os leilões reversos têm sido utilizados nas licitações de bens e serviços, através da modalidade Pregão Eletrônico, do Portal Comprasnet, tendo alcançado resultados positivos em termos de agilidade, transparência e redução de custos. Apesar dos bons resultados com a utilização dos pregões, o caráter unidimensional que os rege, restringindo a negociação à variável preço, representa uma subutilização de todo o seu potencial. Ocorre que, na maioria das vezes, uma negociação envolve a consideração de outros atributos, tais como a qualidade dos produtos e serviços, o prazo de entrega, as formas de pagamento, a garantia e a assistência técnica. Como resultado prático, os pregões eletrônicos têm sido utilizados, preferencialmente, nos processos de aquisição de commodities e de bens e serviços para MRO. Para aquisições que envolvam maior valor agregado, outras formas de licitação têm sido utilizadas.
No presente estudo, os autores advogam que a extensão da negociação a outros atributos, através do instrumento de leilões reversos multiatributo, possibilitará um aumento da competição entre fornecedores, o que deverá revestir-se de ganhos de resultado para as organizações compradoras. Para tal, o uso de uma abordagem de decisão multicritério deverá oferecer os elementos necessários à instituição de processos decisórios sobre alternativas que envolvam diversos atributos, agregando maior valor à decisão, trazendo benefícios não apenas para as organizações compradoras do setor público, mas para toda a sociedade brasileira.
Nesse sentido, no segundo capítulo, dedicado à revisão da literatura, serão feitas considerações sobre a função compras, sobre o processo decisório e sobre leilões, no que tange aos seus aspectos práticos e teóricos. No terceiro capítulo será descrita a metodologia adotada para este trabalho. O capítulo seguinte propõe um modelo de decisão multicritério como elemento de suporte às decisões de compra em leilões eletrônicos reversos baseados em múltiplos atributos. O quinto capítulo discute o experimento de aplicação do modelo proposto e os resultados obtidos. Finalmente, o sexto capítulo apresenta as considerações finais e possíveis extensões ao trabalho.
REVISÃO DA LITERATURA
A Função Compras e a Cadeia de Suprimentos
A moderna tecnologia da informação provocou grandes transformações na gestão dos recursos logísticos de todas as organizações. A interdependência das funções, avaliada por meio de sistemas integrados de gestão, provocou a renovação dos papéis exercidos pelas atividades logísticas, entre as quais se destaca a função compras. Esta perdeu o foco operacional, assumindo uma perspectiva estratégica, com forte ênfase no processo de gerência total de fornecimento, em conformidade com os objetivos organizacionais (Leenders & Fearon, 1997). A efetividade e a eficiência da função compras se tornam essenciais para o sucesso das organizações inseridas em mercados altamente competitivos.
As compras públicas devem obedecer aos requisitos de eficiência, eficácia e efetividade, dado que os recursos advêm dos contribuintes. A Constituição da República Federativa do Brasil, em seu artigo 37º , inciso XXI, determina que, salvo casos excepcionais previstos na legislação, obras, serviços, compras e alienações, deverão ser contratados mediante licitação pública. Nesse sentido, a Lei n.º 8.666, de 21 de junho de 1993, estabelece as normas gerais sobre licitações e contratos administrativos no âmbito dos Poderes da União, dos Estados, do Distrito Federal e dos Municípios, definindo, em seu artigo 22 as modalidades de Concorrência, Tomada de Preços, Convite, Concurso e Leilão.
Instituído pela Medida Provisória n.º 2.026, de 4 de maio de 2000, regulamentado pelos Decretos n.os 3.555, de 8 de agosto de 2000 e 3.697, de 21 de dezembro de 2000, e, finalmente, regido pela Lei n.º 10.520, de 17 de julho de 2002, o Pregão representa um aperfeiçoamento no regime de licitações para a Administração Pública. De acordo com SLTI/MP (2000), essa modalidade possibilita o incremento da competitividade e a ampliação das oportunidades de participação nos processos de licitação, contribuindo para a redução das despesas, sobretudo as de custeio da máquina administrativa, indo ao encontro das metas de ajuste fiscal. No Pregão, a disputa pelo fornecimento se dá em sessão pública, por meio de propostas e lances, com a classificação e a habilitação do licitante que apresente a proposta de menor preço. Quando utiliza recursos de tecnologia da informação, essa modalidade recebe o nome de Pregão Eletrônico que, no âmbito da Administração Pública Federal, compreendidos os três Poderes, se realiza através do Comprasnet, o portal de compras do Governo Federal na Internet, possibilitando, dessa maneira, a participação de maior número de fornecedores geograficamente dispersos.
O Pregão, instituído no âmbito da União, Estados, Distrito Federal e Municípios, é uma modalidade de licitação destinada à aquisição de bens e serviços comuns, definidos como aqueles cujos padrões de desempenho e qualidade possam ser objetivamente definidos em edital, por meio de especificações usuais de mercado. Nesse sentido, sua aplicação só é possível para a aquisição de bens ou serviços com características de padronização, que permitam a comparação e julgamento das propostas com base exclusivamente no critério de melhor preço.
A instituição da modalidade de Pregão Eletrônico nos processos de licitação da Administração Pública Brasileira, assim como a própria criação do Portal Comprasnet, devem ser entendidas como parte de um contexto mais amplo, de introdução das práticas de Governo Eletrônico, no Brasil. Segundo Ruediger (2002), o termo Governo Eletrônico pode ser visto como o uso de novas tecnologias de informação e comunicação, aplicadas a um amplo arco das funções de governo, sobretudo na relação deste para com a sociedade. Com isso, além da promoção de boas práticas de governança, torna-se potencial catalisador de transformações profundas nas estruturas governamentais, contribuindo para o aumento da eficiência, da transparência e do desenvolvimento, além do provimento democrático de informações para decisão.
O Processo Decisório
Todas as atividades que determinam os rumos de uma sociedade e de suas organizações, quer públicas quer privadas, envolvem, predominantemente, processos de tomada de decisões. No entanto, tomar decisões não é tarefa fácil. As decisões são fortemente influenciadas por paradigmas e afetadas por paradoxos, que podem confundir e induzir o decisor a resultados errôneos, e a conseqüências indesejáveis ou arriscadas, mesmo que as alternativas sejam corretas e as premissas coerentes. Na maioria das vezes, tal processo é revestido de extrema complexidade, devido a elementos, tais como a quantidade de alternativas a serem consideradas que, não raramente, podem significar a consecução de objetivos distintos e conflitantes. Adicionalmente, a falta ou o excesso de informações, os elementos de incerteza associados e os múltiplos atributos de cada alternativa podem dificultar sobremaneira a tomada de decisões.
A função compras assume, nos dias atuais, um caráter estratégico, sendo elemento determinante para que organizações inseridas em ambientes complexos, dinâmicos e altamente competitivos, obtenham vantagens competitivas nos mercados em que atuam. No seu contexto, inúmeras decisões se verificam, como por exemplo, aquelas relacionadas a quando, quanto, como, por quanto e de quem comprar. Tais decisões perdem o isolamento e o foco operacional de outrora, e assumem perspectivas estratégicas e holísticas, em conformidade com o conceito mais amplo de Supply Chain Management, despertando o interesse direto da alta gerência.
Atualmente, verifica-se que o processo decisório, além da logicidade e racionalidade, também pode demandar elementos de criatividade, subjetividade e circunstancialidade. Esse processo tende a se basear em decisões múltiplas, fundamentando-se na análise crítica dos paradigmas vigentes e sendo exercido como prática de liberdade individual.
Para Clemen e Reilly (2001) e para Goodwin e Wright (1991), as decisões, em geral, são difíceis, pois muitas delas podem envolver múltiplos e conflitantes objetivos; ou seja, a consecução de um objetivo pode representar a renúncia de outro, em função da não existência de um curso de ação responsável por realizar todos os objetivos. Dessa maneira, a decisão pode envolver trade-offs em relação aos benefícios oferecidos por cada alternativa. Adicionalmente, as decisões podem ser dificultadas em face dos elementos de incerteza associados e da atitude dos decisores em face do risco proporcionado por tais elementos, tornando-os adeptos, neutros ou avessos em relação ao risco. Na visão de Keeney e Raiffa (1993), os objetivos são medidos através de um ou mais atributos que compõem as alternativas que representam o âmbito das escolhas possíveis.
O estudo da decisão possui características multidisciplinares, tendo despertado o interesse de pesquisadores de Áreas como a Filosofia, Sociologia, Ciência Política, Economia, Estatística, Ciência da Computação, Ciência Cognitiva e Inteligência Artificial. Como resultado, foram desenvolvidos inúmeros modelos teóricos com o objetivo de explicar a maneira pela qual as pessoas decidem, auxiliando-as a tomar melhores decisões. Um modelo é uma representação da realidade usada para simular um processo, entender uma situação, predizer um resultado ou analisar um problema. Os modelos desenvolvidos como resultado dos estudos relacionados à decisão podem ser agrupados em três categorias principais: normativos, descritivos e prescritivos.
A abordagem normativa assume que o decisor é dotado de comportamento racional e de um sistema estável e bem organizado de preferências, possuindo capacidade analítica que o habilita a verificar cada curso de ação disponível, selecionando a alternativa que proporcione o maior grau em sua escala de preferências (Simon, 1955). Central a essa abordagem, encontra-se a Teoria da Escolha Racional, proposta por Von Neumann e Morgenstern (1947), que estabelece que o decisor age de acordo com um conjunto de axiomas que tornam o seu comportamento consistente e racional. Derivada da Teoria da Escolha Racional, a Teoria da Utilidade Subjetiva Esperada estabelece que, em condições de risco ou incerteza, o decisor escolhe determinado curso de ação após comparar os valores esperados de utilidade de cada alternativa que se apresenta. Tais valores correspondem a uma soma ponderada, que consiste na multiplicação dos valores retornados pela função utilidade de cada conseqüência pelas respectivas probabilidades de ocorrência.
Experimentos conduzidos por pesquisadores comportamentalistas demonstraram que os indivíduos não agem segundo a maneira preconizada pela abordagem normativa. Para esses pesquisadores, a abordagem normativa faz uso excessivo de mecanismos de abstração, ignorando preocupações cognitivas sobre arrependimento, desapontamento, ansiedade, inveja, malevolência, caridade, entre outras. Adicionalmente, as pessoas cometem erros, não utilizam instrumentos eficientes de análise e fazem uso de heurísticas não apropriadas (Raiffa, 1994). Tais críticas fomentaram o surgimento da abordagem descritiva, cujas bases têm origem nos trabalhos de Herbert Simon, que construiu uma teoria administrativa baseada na racionalidade limitada do homem administrativo, contraposto à racionalidade ilimitada do homem econômico da abordagem normativa, retratado pela eficiência máxima no alcance dos objetivos organizacionais.
Como resultado dos trabalhos dos proponentes da abordagem descritiva que evidenciaram a limitação da racionalidade e a fragilidade da abordagem normativa, surge a abordagem prescritiva, conjugando o arcabouço teórico normativo e o resultado das observações da abordagem descritiva, com o objetivo de prover auxílio ao processo decisório, determinando o que pode e deve ser feito pelo decisor. Na visão de French e Xie (1994), os modelos prescritivos são utilizados para direcionar processos decisórios reais, de maneira a reconhecerem os imperativos normativos nas restrições impostas pelas habilidades cognitivas dos decisores. A análise prescritiva baseada no conceito de Utilidade Subjetiva Esperada inicia com um pequeno conjunto de estratégias, estados e atributos. Gradativamente, a partir do progresso da análise, novos conhecimentos são derivados, permitindo ao decisor revisar seus modelos de crenças e preferências, rumo ao modelo de requisitos; ou seja, o modelo final, adequado à decisão em tela.
No que tange aos modelos prescritivos, a Análise da Decisão representa uma abordagem teórica capaz de prover a estrutura e o direcionamento que possibilitam pensar sistematicamente em face das decisões difíceis, oferecendo mecanismos para que o decisor escolha cursos de ação com a confiança advinda de um claro entendimento do problema. A justificativa para a utilização da Análise da Decisão é que a aplicação criteriosa das suas técnicas poderá conduzir a melhores decisões, embora isso não signifique a obtenção de melhores resultados. No entanto, a maior compreensão dos problemas, no que tange a sua estrutura, aos elementos de incerteza e aos trade-offs associados aos cursos de ação e aos possíveis resultados, poderá aumentar a probabilidade de obtenção de melhores resultados, ou, pelo menos, mitigar a possibilidade de obtenção de resultados inesperados ou não previstos.
A idéia de modelagem é crítica para a Análise de Decisão. Árvores de decisão e diagramas de influência auxiliam na criação de representações ou modelos do problema de decisão. Faz-se uso de elementos de probabilidade para lidar com os elementos de incerteza inerentes ao problema. Modelos de rede ou hierárquicos são utilizados no entendimento do relacionamento entre múltiplos objetivos. Funções de utilidade são utilizadas na modelagem da forma pela qual os decisores valoram os diferentes resultados e na modelagem dos trade-offs associados aos objetivos conflitantes. Todos esses modelos, de natureza matemática ou gráfica, auxiliam o decisor na obtenção de um conhecimento acurado do problema, facilitando a identificação do curso de ação preferido.
A grande maioria dos problemas de interesse prático requer a análise simultânea de vários atributos de uma única alternativa; ou seja, o processo de tomada de decisões deverá compreender uma visão holística, que abranja esses critérios.
A Figura 1 [2] apresenta uma seção em uma árvore de decisão. Supondo a conseqüência 
, descrita, objetivamente, através de n números, 
onde 
representa uma medida de desempenho da conseqüência , sobre a j-ésima escala de atributo. A escolha da alternativa a' envolve a consideração da loteria l' que, com probabilidade 
, resulta em uma conseqüência descrita por uma tupla n-área 
, na qual o subscrito i tem como range o número de ramos do nó de chance. A loteria l' pode ser interpretada como uma distribuição de probabilidade discreta com resultados em um espaço n-dimensional. O decisor deverá definir qual curso de ação deverá considerar. Mesmo que esse decisor tivesse o dom da clarividência e dirimisse toda a incerteza associada, a decisão ainda seria revestida de elementos de complexidade, envolvendo trade-offs, dado que terá que escolher dentre as possíveis conseqüências C1,C2,...,Cq, onde Ci é descrita em termos de xi = (xil,...,xin).
Segundo Bichler (2001), a essência de uma decisão que envolva uma análise multicritério consiste em subdividir a decisão em componentes de menor tamanho, de modo a facilitar o processo decisório, recombinando-os posteriormente de maneira lógica. Dentre as inúmeras abordagens para auxílio na escolha da melhor alternativa em problemas de decisão multicritério, a MAUT, Multi-Attribute Utility Theory, se baseia em uma função aditiva (ou linear) para modelagem das preferências do usuário.
Leilões: Teoria e Prática
Um leilão é uma instituição de mercado dotada de um conjunto explícito de regras que determinam a alocação de recursos e preços, a partir de lances feitos pelos seus participantes (McAffe & McMillan, 1987). A Teoria dos Leilões provê um modelo explícito de formação de preços, cuja principal característica é desobrigar o vendedor da tarefa de fixação do preço do bem, deixando que este seja estabelecido pelo próprio mercado.
O mecanismo de leilões tem sido largamente utilizado em atividades de comércio eletrônico na Internet, sobretudo nos mercados C2C e B2C. Tal asserção pode ser comprovada pelo volume crescente de transações efetuadas com os mais variados bens e serviços, desde commodities, como nos casos de produtos agrícolas, até obras de arte, produtos eletrônicos e passagens aéreas (Klein, 1997). Com regras simples e bem definidas, os leilões promovem maior flexibilidade à tarefa de determinação de preços, na medida em que, até então, os preços eram fixos, definidos unilateralmente pelo vendedor, não cabendo espaço para negociação entre as partes, configurando uma situação do tipo " pegar ou largar" , em que os compradores se viam impedidos de fazer contrapropostas. Recentemente, observa-se interesse crescente de organizações e governos na utilização da modalidade de leilões eletrônicos reversos em seus processos aquisitivos. Nos leilões reversos, a organização compradora interage com diversas organizações fornecedoras. Para tal, informam o preço máximo que admitem pagar por um determinado bem ou serviço e, em seguida, recebem lances decrescentes de fornecedores interessados. No que tange às compras públicas brasileiras, o instrumento de Pregão Eletrônico implementa um mecanismo de leilão reverso baseado no atributo preço, possibilitando a disputa por contratos, mediante a submissão de lances decrescentes, por fornecedores, através do próprio site do Portal Comprasnet.
Considerando um leilão reverso LR, com preço máximo pmaxe decremento mínimo 
, previamente definidos pela organização compradora, só poderão ser aceitos lances bi < pmax , " i = 1...n participantes. A cada lance aceito, o novo preço máximo pmax - bi é calculado e novo round se inicia, com a submissão de novos lances, pelos participantes. O leilão é encerrado quando não são observadas novas ofertas durante um intervalo de tempo preestabelecido, ou quando o prazo estipulado para a sua realização expira. Nesses casos, o direito de comercializar o bem ou serviço é assegurado ao fornecedor que submeteu o lance mais baixo, bi = pmax.
METODOLOGIA
Para classificar os tipos de pesquisa utilizados neste trabalho, adotamos a taxonomia proposta por Vergara (2000), que a qualifica em relação aos fins e aos meios. Quanto aos fins, a pesquisa foi considerada aplicada, dado que propôs verificar a acuidade da utilização de uma abordagem baseada na Teoria da Utilidade Multiatributo no suporte às decisões de compra em leilões reversos baseados em múltiplos atributos. A pesquisa foi, ainda, metodológica, por estar associada a caminhos, maneiras e procedimentos para definição de estratégias capazes de prover maior grau de efetividade às compras públicas. Quanto aos meios, a pesquisa foi considerada de laboratório, por incluir a realização de experimento, em ambiente controlado. Nesse ambiente, simulou-se o instrumento de Pregão Eletrônico do Comprasnet e introduziram-se os elementos necessários à consideração de múltiplos critérios, seja na submissão, seja na avaliação dos lances. A pesquisa foi, ainda, bibliográfica, pois sua fundamentação teórico-metodológica se baseou na investigação de material publicado em livros, revistas e jornais científicos, relacionados a temas como Análise da Decisão, Logística, Teoria dos Leilões e Teoria dos Jogos. Finalmente, a pesquisa foi documental devido à consideração de leis, normas e atos administrativos no âmbito do Ministério do Planejamento, Orçamento e Gestão, relacionados aos processos aquisitivos da Administração Pública Brasileira.
O universo da pesquisa foi constituído por profissionais de organizações públicas e privadas, direta ou indiretamente associados à função compras em suas organizações, seja na condição de compradores, seja na condição de fornecedores. A amostra não probabilística foi definida por critérios de acessibilidade e tipicidade, sendo composta por representantes de 3 organizações públicas e 10 organizações privadas, atuando, respectivamente, como compradores e fornecedores em leilões eletrônicos na Internet. Os sujeitos da pesquisa foram os gerentes de compras de organizações públicas e os representantes de organizações fornecedoras de equipamentos de informática, devidamente cadastrados no Sistema de Administração de Serviços Gerais (SIASG) e participantes habituais de licitações, por meio da modalidade de Pregão Eletrônico do Comprasnet.
Os dados foram coletados através de pesquisas bibliográficas, consultas a sites na Internet e consulta documental a leis, normas e atos administrativos relacionados aos processos aquisitivos realizados no âmbito da Administração Pública Brasileira. A utilização de experimentação em laboratório, mediante simulação, foi outro importante instrumento de coleta de dados, que possibilitou analisar a efetividade da abordagem proposta e permitiu sua comparação em relação às práticas atualmente vigentes, baseadas em leilões eletrônicos reversos, considerando um único atributo. Os dados foram tratados por meio de instrumentos de análise qualitativa e quantitativa, tendo por objetivo verificar a efetividade da utilização de uma abordagem proposta e na viabilização do instrumento de leilões eletrônicos reversos baseados em múltiplos atributos para as compras públicas no Brasil.
No que tange às limitações do método, em relação à pesquisa bibliográfica, dada a complexidade dos temas abordados, pode ter havido o privilégio de certas linhas autorais em detrimento de outras, muito embora, este não tenha sido um objetivo previamente traçado. Finalmente, a amostra coletada poderá não ter sido suficientemente representativa, embora tenham sido adotados critérios para garantir a sua representatividade.
UM MODELO DE DECISÃO MULTICRITÉRIO
Um leilão reverso baseado em múltiplos critérios, no qual p fornecedores competem entre si por um contrato referente ao comprador c, pode ser representado como um jogo G= {(di, pi): i = 1... p}, onde:
di representa o espaço de estratégias do fornecedor i, sendo definido com base no conjunto de atributos x = {x1,...,xm} e na valoração vi, (x) de cada fornecedor i em relação ao conjunto de atributos x.
pi representa a sua função de pagamento; ou seja, a função utilidade que representa o benefício proporcionado pelo fornecedor i ao comprador.
Supondo um comportamento racional, espera-se que os fornecedores submetam lances bi 
vi (x), de forma a derivarem uma margem não negativa bi - Vi (x) > 0. Dessa forma, considerando o conjunto de estratégias di = {bi|bi vi (x)} disponíveis ao fornecedor i, a estratégia dominante 
será baseada na submissão de lances bisobre o conjunto de atributos x = {x1 ,...,xm}, que produzam incrementos mínimos em pi. Dado que a estratégia dominante dos fornecedores consiste em submeter lances decrescentes, respeitando um decremento mínimo, o problema se restringe à composição e a avaliação de lances que, em verdade, representam composições de vários atributos, muitas vezes subjetivamente calculados. Portanto, o problema pode ser representado mediante de uma árvore de decisão e de uma matriz de conseqüências, que indicam os possíveis cursos de ação e os critérios que os compõem.
Inicialmente, considerando o fluxo do processo de análise de decisão, a organização compradora, através do seu gestor de compras, deverá realizar um trabalho cujo propósito é estabelecer os objetivos fundamentais, os atributos que contribuem para o alcance desses objetivos com suas respectivas escalas de mensuração, as funções utilidade associadas a cada atributo e, finalmente, o peso que cada um terá na consecução dos objetivos estabelecidos.
A efetividade de todo o processo depende da correta estruturação do problema de decisão, com a identificação concisa dos objetivos fundamentais e dos atributos que contribuem para o alcance desses objetivos. Esse conjunto de objetivos, representado de maneira hierárquica, deve ser mínimo, porém completo, incluindo todos os aspectos considerados relevantes para o processo decisório. Os objetivos devem ser decomponíveis; ou seja, a consideração de um não deverá depender da consideração do outro. Deve ser feita clara distinção entre os objetivos-meio e os objetivos-fim, sendo que os primeiros são um caminho para que se atinjam os últimos. Finalmente, as escalas de atributos devem ser operacionais, permitindo que sejam medidos os desempenhos das alternativas ou os resultados dos objetivos fundamentais.
Embora na modelagem do leilão seja assumida a neutralidade em relação ao risco por parte dos fornecedores, o comportamento dos gestores de compras deve ser modelado como sendo avesso ao risco, sobretudo em função da necessidade de boa gestão dos recursos organizacionais. Sendo assim, serão utilizadas as funções:
para preferências monotonicamente crescentes sobre xi;
para preferências monotonicamente decrescentes sobre xi .
Nesse sentido, temos que U 
= 0 e U 
= 1, onde e representam, respectivamente, o menor e o maior níveis do atributo xi. A concavidade dessas funções indica a aversão ao risco. O parâmetro p representa o índice de tolerância ao risco e, quanto menor o seu valor, maior a concavidade da função, indicando menor tolerância ao risco, pelo decisor.
O modelo adotado, baseado na Teoria da Utilidade Multiatributo, pressupõe a existência de funções utilidade individuais U1 (x1),..., Um (xm) para m diferentes atributos, x1até xm. Cada função utilidade assume os valores 0 e 1 para o pior e o melhor casos, respectivamente. A partir de definição de todas as m funções de utilidade individuais, o valor de uma determinada alternativa poderá ser obtido a partir da soma das utilidades individuais dos seus atributos componentes, considerando a possibilidade de interação de dois ou mais atributos. Tem-se, portanto, o cálculo da função utilidade multilinear:
Os pesos ki ,...,km determinam a importância relativa dos atributos x = {x1 ,...,xm}, sendo que 
ki = 1 e ki > 0.
O procedimento proposto para a avaliação dos pesos tem origens no trabalho de Winterfeldt e Edwards (1986), que introduzem a abordagem Swing-Weighting, que permite proceder ao ajustamento dos pesos que determinam a importância relativa de cada atributo. Para tal, o decisor faz uso da tabela de ajustamento de pesos, que o auxilia na execução de um conjunto de procedimentos sobre cada atributo que compõe seu problema de decisão.
Portanto, considerando o conjunto x = {x1 ,..., xm} de atributos, a tabela possuirá m + 1 linhas, e 5 colunas, conforme apresentado na Tabela 1 [3]. A primeira linha dessa tabela deverá abrigar o pior resultado possível, ou o resultado decorrente de composição de cada atributo em seu pior nível; ou seja 
. Essa primeira linha representará um benchmark, que servirá como ponto de partida para o ajustamento necessário. A partir da segunda linha, considerando cada um dos atributos, observa-se a troca de um dos atributos, modificando do seu pior nível para o seu melhor nível. Como exemplo, para um problema de decisão que envolva quatro atributos, teremos como segunda, terceira, quarta e quinta linhas dessa tabela, respectivamente, 
.
Em seguida, o decisor estabelece uma ordenação para cada uma das conseqüências, observando que a linha deBenchmark da tabela deverá, necessariamente, ocupar a posição m + 1, para um problema de x1 ,...,xmatributos. Para os demais atributos, deverá ser observada uma ordenação com base nas preferências do decisor, tal que " xixj|xj <> xj Þ xi xj ou xj xi . Dessa maneira, o atributo xi terá uma ordenação fi, que será maior ou menor do que a ordenação fj do atributo xj. Tendo por base os resultados da etapa de ordenação, é possível atribuir, automaticamente, valor 0 para a conseqüência menos desejada (benchmark) e 100 para a mais desejada. As demais conseqüências deverão receber valores entre ] 0,100 [ e, para tal, o decisor deverá avaliar quão representativo é o aumento da satisfação decorrente da mudança de cada atributo, do seu pior nível para o seu melhor nível. Portanto, considerando os atributos x1,...,xm e suas avaliações a1,...,am, o cálculo dos respectivos pesos k1,...,km dar-se-á da seguinte maneira: " i = 1...m, ki = 
.
Assim como nas utilidades individuais, a função utilidade multi-linear assume o valor 0 para a pior alternativa. Quando 
= 1 função assume sua forma aditiva elementar ki U (xi). Portanto, caso atribuamos o pior valor para cada atributo, teremos U = k1U1()+ ... + kmUm
= k1+ ... + km = 0. Em contra-partida, caso se atribua o melhor valor para cada atributo, teremos U 
= k1U1 
+ ... + kmUm 
= k1+ ... + km = 1.
Conforme anteriormente visto, a interação de atributos é capturada pelos termos 
. O sinal positivo do coeficiente 
indica que os atributos são complementares, enquanto o sinal negativo indica que são substitutos (Keeney & Raiffa, 1993).
DESCRIÇÃO DO EXPERIMENTO E ANÁLISE DOS RESULTADOS
A verificação da aplicabilidade do modelo proposto na seção anterior se deu por meio da realização de experimentos sob a forma de sessões de leilões eletrônicos reversos multiatributo, realizadas entre os dias 15 e 30 de setembro de 2003. Essas sessões foram realizadas em ambiente controlado, contando com a participação de gestores de compras de organizações da Administração Pública Federal, e de fornecedores devidamente cadastrados no Sistema de Cadastramento Unificado de Fornecedores (SICAF). Todos já haviam participado de processos licitatórios por meio do Comprasnet, segundo a modalidade de Pregão Eletrônico. Todas as sessões se basearam no mesmo objeto; ou seja, o Edital do Pregão Eletrônico nº 674/2003-SJC, referente ao processo de aquisição de equipamentos de informática para o Instituto Nacional de Pesquisas Espaciais (INPE). O processo licitatório teve como base o item 12 do referido edital, que define os requisitos para a aquisição de 3 microcomputadores. Finalmente, a utilização de dados reais pretendeu demonstrar a viabilidade do processo proposto e, também, produzir credibilidade ao mesmo.
O problema de decisão foi modelado segundo uma hierarquia de objetivos fundamentais e atributos apresentada na Figura 2 [4]. Dado o objetivo geral, Comprar Microcomputadores, têm-se os objetivos fundamentais Minimizar Custos, Maximizar Valor Agregado e Maximizar Qualidade.
A minimização dos custos está relacionada ao montante efetivamente pago pela organização compradora ao vencedor do processo de licitação, correspondendo ao atributo preço de compra, medido em R$. Para maximizar o valor agregado, foram considerados os atributos Prazo de Garantia e Prazo de Entrega, ambos medidos em número de dias. Finalmente, em relação ao objetivo de maximização da qualidade, optou-se pela utilização do atributo Avaliação Geral da Placa-mãe. A escolha de um único atributo para o objetivo buscou reduzir a explosão combinatória decorrente das diferentes configurações possíveis, considerando todos os componentes de um microcomputador. Dessa forma, considerou-se a avaliação geral das placas-mãe disponíveis no mercado para Processadores Pentium 4 com o chipset Intel i845E (ou superior) e para os Processadores AMD Athlon com o chipset VIA KT333 (ou superior). A medição desse atributo se baseia em uma avaliação que obedece a uma escala de 0-100, que consta na classificação de placas-mãe, de maio de 2003, do site www.motherboards.org [5].
Inicialmente, deu-se o processo de estabelecimento dos pesos para cada atributo, por meio do preenchimento, por cada comprador, da tabela de ajustamento de pesos. Foi estabelecido que o melhor nível para o atributo preço de compra seria R$ 3,00, que corresponde a um limite inferior simbólico de R$ 1,00 por microcomputador. O pior nível corresponde ao valor total de referência, de R$ 15.000,00; ou seja, R$ 5.000,00 por microcomputador. No que tange ao atributo prazo de garantia, o pior nível corresponde aos 12 meses, conforme estabelecido em edital. Como melhor nível, foi estabelecido o prazo de 60 meses, equivalente a vida útil do equipamento. Em relação ao atributo prazo de entrega, o pior nível corresponde ao prazo máximo de 30 dias estabelecido em edital. Como melhor nível, estipulou-se o prazo de 1 dia. Finalmente, para o atributo avaliação geral da placa-mãe, atribuíram-se os graus 62 e 89 para o pior e melhor níveis, respectivamente, tendo como base a classificação anteriormente mencionada.
A Tabela 2 [6] apresenta o resultado do processo de ajustamento de pesos dos compradores. Observa-se que, para o gestor de compras 1, o atributo preço é fundamental, contribuindo com 49% de suas preferências, seguido do prazo de garantia com 24%, da avaliação da placa-mãe com 20% e, finalmente, do prazo de entrega, que representa apenas 7% de suas preferências. Para o gestor 2, o preço ainda exerce maior influência, representando 38% das suas preferências. Entretanto, ao contrário do que se verificou com o primeiro gestor de compras, no caso do comprador 2, o atributo avaliação da placa-mãe ocupou a segunda posição na escala de preferências, com 31%, seguido do prazo de garantia com 27% e do prazo de entrega com 4%. Finalmente, para o gestor 3, o atributo avaliação da placa-mãe ocupa o primeiro lugar na escala de preferências com 45%, seguido do preço de compra com 36%, do prazo de garantia com 14% e, por último, do prazo de entrega com 5%.
Em relação aos aspectos de tolerância ao risco, utilizou-se, para o comprador 1, o parâmetro r 0,1 sobre os quatro atributos, indicando baixa tolerância ao risco; r = 0,5 para o comprador 2, em todos os atributos, indicando média tolerância ao risco e r = 0,9 para o comprador 3, nos quatro atributos, indicando alta tolerância ao risco.
Embora se trate de um processo de licitação de microcomputadores, convencionou-se que, em relação aos aspectos associados ao equipamento em si, a variabilidade das ofertas dar-se-ia somente em relação à placa-mãe, ceteris paribus para os demais componentes da máquina. Cabe ressaltar que, embora o edital possibilite ofertas baseadas nos processadores Pentium 4 ou AMD Athlon XP, o presente trabalho não fez qualquer distinção entre ambos, considerando-os equivalentes.
A Tabela 3 [7] apresenta um extrato da sessão 1, realizada em 15/09/2003, com a participação do comprador 1 e dos fornecedores 1,2 e 3. O leilão foi definido em 25 lances, sendo declarado vencedor o fornecedor 3, cuja proposta se baseou em um lote de 3 microcomputadores equipados com aplaca-mãe Asus P4B533-E com chipseti845E, por um preço de R$ 12.550,00 pelo lote, com prazo de garantia de 36 meses eprazo de entrega de 15 dias, proporcionando uma utilidade total de 1,158 para a organização representada pelo comprador 1. O lote foi arrematado com um deságio de 16,33% em relação ao valor de referência de R$ 15.000,00, definido em edital. Embora o último lance submetido pelo fornecedor 1 (lance 24) proporcionasse um deságio ainda maior, de cerca de 17,33%, a oferta vencedora foi considerada superior segundo as preferências atribuídas pelo gestor de compras, em função da melhor qualidade da placa-mãe e do maior prazo de garantia.
A Tabela 4 [8] apresenta um extrato da sessão 2, realizada em 22/09/2003, com a participação do comprador 2 e dos fornecedores 4, 5 e 6. O leilão foi definido em 19 lances, sendo declarado vencedor o fornecedor 6, cuja proposta se baseou em um lote de 3 microcomputadores equipados com a placa-mãe Gigabyte GA-7VAXP comchipset KT400, por um preço de R$ 12.800,00 pelo lote, com prazo de garantia de 36 meses e prazo de entrega de 20 dias, proporcionando uma utilidade total de 0,702 para a organização representada pelo comprador 2. O lote foi arrematado com um deságio de 14,66% em relação ao valor de referência de R$ 15.000,00, definido em edital. Embora os últimos lances submetidos pelo fornecedor 4 (lance 11) e pelo fornecedor 5 (lance 18) proporcionassem deságios ainda maiores, de 35% e de 15,33%, respectivamente, a oferta do fornecedor 6 foi considerada superior, segundo as preferências atribuídas pelo gestor de compras, principalmente em função da melhor qualidade da placa-mãe, extremamente superior à placa oferecida pelo fornecedor 4.
Finalmente, a Tabela 5 [9] apresenta um extrato da sessão 3 realizada em 30/09/ 2003 que contou com a participação do comprador 3 e dos fornecedores 7, 8,9 e 10. O leilão foi definido após 29 lances, sendo declarado vencedor o fornecedor 10, cuja proposta se baseou em um lote de 3 microcomputadores equipados com a placa-mãe Asus A7V333 com chipset KT333, por um preço de R$ 10.500,00 pelo lote, com um prazo de garantia de 30 meses e com prazo de entrega de 15 dias, proporcionando uma utilidade total de 0,599 para a organização representada pelo comprador 3. O lote foi arrematado segundo um deságio de 30% em relação ao valor de referência de R$ 15.000,00, o maior dentre todos os lances submetidos. Mesmo com uma placa-mãe de mais baixa qualidade, se comparada às placas dos fornecedores 7 e 9, a oferta feita pelo fornecedor 10 foi globalmente superior, em função do baixo valor do atributo preço de compra, que contribuiu para suplantar a oferta do fornecedor 8, baseada em uma placa-mãe idêntica e em um prazo de garantia 6 meses superior.
Conforme anteriormente mencionado, as decisões são influenciadas pelos valores e pela atitude que cada decisor possui em relação ao risco. Por essa razão, observou-se a disparidade das preferências atribuídas por ocasião da valoração do item licitado. Para comprovar a influência de tais preferências, foi realizado um experimento a partir do histórico da sessão 3. No experimento, modificaram-se os parâmetros de tolerância ao risco dos atributos preço de compra e prazo de entrega, de r= 0,9 para r = 0,1, indicando menor tolerância ao risco. A Tabela 6 [10] apresenta o resultado. Interessante observar que as utilidades não mais se apresentam ordenadas de maneira crescente em conformidade com os lances submetidos e que o lance anteriormente vencedor (29) não é mais aquele que proporciona uma maior utilidade.
CONSIDERAÇÕES FINAIS
O presente trabalho propôs verificar até que ponto a utilização de uma abordagem reversos baseados em múltiplos atributos, no comércio eletrônico, pela Internet. Adicionalmente, buscou-se demonstrar a efetividade dessa abordagem de decisão como elemento de agregação de valor para as organizações compradoras do setor público brasileiro. A avaliação do modelo proposto se deu mediante a realização de um experimento em ambiente controlado, que contou com a participação de gestores de compras de organizações públicas e de fornecedores, todos habituados a processos aquisitivos na modalidade de Pregão Eletrônico, no Comprasnet.
A instituição do instrumento de Pregão Eletrônico nos processos aquisitivos realizados pelas organizações do setor público brasileiro representou, indubitavelmente, grande avanço no que tange às compras públicas. Toda a estrutura de compras, que tem no SIASG o seu elemento central, tem permitido que essas organizações adquiram bens e serviços de fornecedores, com maior agilidade, competitividade, transparência e redução de custos.
Entretanto, restrito à variável preço, o Pregão é subutilizado em seu potencial. Poder-se-ia argumentar que são adequados para os processos aquisitivos referentes a alguns tipos de commodities ou MRO; mas isso se torna impossível para bens e serviços de maior valor agregado. Ocorre que, geralmente, uma negociação envolve a consideração de outros atributos, muitas vezes mais importantes do que o preço.
Em contraposição, poder-se ia argumentar a favor de uma abordagem exclusivamente baseada no atributo preço, dado que, geralmente, os fornecedores são previamente cadastrados e que a organização compradora define todos os requisitos em relação aos bens e serviços a serem adquiridos. No entanto tal cadastramento não é garantia da qualidade dos bens e serviços comercializados, tampouco do cumprimento das obrigações, pelo fornecedor, sobretudo no pós-venda. Ocorre que as organizações compradoras, na maioria das vezes, estabelecem os requisitos mínimos a serem atendidos. Portanto, dado que a disputa se realiza sobre o atributo preço, não há razão para que os fornecedores, em suas ofertas, se desviem do mínimo requerido pelos compradores, agregando maior valor aos bens ofertados. Quando a disputa se dá sobre um rol de atributos, a tendência é que a competição seja mais acirrada, beneficiando fornecedores, em função do aumento das possibilidades de negociação, e, sobretudo, compradores, em face dos maiores retornos verificados sobre os atributos considerados, em grande parte, preço (custo) e qualidade. O aumento da competição e a consideração de inúmeros atributos poderão demandar ofertas mais agressivas por parte dos fornecedores. Com isso, mesmo que o arrematante seja aquela organização cujo preço tenha sido o menor ofertado, é bastante provável que, caso a disputa se dê exclusivamente sobre o atributo preço, os demais concorrentes atinjam seu preço de reserva bem antes e, assim, o arremate se dê com base em valores superiores ao efetivamente verificado.
Apesar da Análise da Decisão ser um instrumento eficaz no provimento de estrutura, direcionamento e suporte para a escolha dos cursos de ação, ficou evidente que as decisões são condicionadas por valores, sejam eles pessoais ou organizacionais, traduzidos nas preferências sobre o conjunto de atributos e na atitude de cada decisor perante o risco. Não obstante tal fato, a utilização do modelo proposto, baseado na Teoria da Utilidade Multiatributo, permitiu agregar maior valor no que tange às decisões de compra, possibilitando melhores resultados às organizações compradoras, em função do aumento da utilidade global. Finalmente, no término de cada sessão de leilão, o modelo proposto é capaz de oferecer o feedback necessário para que cada fornecedor possa melhorar seu nível de serviço, tendo como base os múltiplos atributos que compõem a sua oferta, podendo tornar-se mais competitivo em leilões subseqüentes.
Portanto, a utilização de uma abordagem de decisão multicritério contribuirá para um salto quali-quantitativo na execução das compras públicas brasileiras, em níveis federal, estadual e municipal, proporcionando redução de custos e aumentando a qualidade dos bens e serviços adquiridos. Espera-se que a sua implementação, mediante a instituição de leilões eletrônicos reversos multiatributo que, doravante, poderiam ser denominados " Pregões Eletrônicos Multiatributo" , substitua gradualmente outras modalidades de licitação, em função da sua maior eficácia e da economia proporcionada.
Certamente, sua implementação demandará uma revisão nas Leis do Pregão (Lei nº 10.520) e de Licitações (Lei nº 8.666), para que o julgamento da melhor proposta se dê não exclusivamente sobre o menor preço, mas que considere outros atributos. No entanto, a julgar pelo Anteprojeto de Lei Geral de Contratações da Administração Pública, o Governo Federal deverá optar por mudanças pontuais nas leis supracitadas, abandonando a idéia inicial de promover alterações substanciais na legislação que regula as compras públicas, no Brasil.
Entretanto não se pode supor que a revisão na legislação concernente ao assunto tornará irrestrita a acessibilidade do modelo proposto. Inicialmente, o modelo pressupõe uma estrutura de governo eletrônico que, no entanto, ainda é incipiente no Brasil, sendo verificada tão-somente no Governo Federal e em poucos estados e municípios. Para a maioria dos 5.560 municípios brasileiros, essa realidade ainda está muito distante, em função dos investimentos necessários em informatização e em capacitação de servidores que, muitas vezes, estão condicionados por repasses estaduais e federais. A despeito das dificuldades apontadas, os benefícios advindos da informatização, em sentido lato, e da implementação do instrumento de " Pregões Eletrônicos Multiatributo" , em sentido stricto, representam grande estímulo para que essas diferenças estruturais possam ser progressivamente reduzidas.
REFERÊNCIAS BIBLIOGRÁFICAS
Bichler,M.(2001). The future of e-markets: multidimensional market mechanisms. Cambridge: Cambridge University Press. [ Links ]
Clemen, R., & Reilly,T.(2001). Making hard decisions with DecisionTools (2nd ed.). Pacific Grove: Duxbury. [ Links ]
French, S., & Xie,Z.(1994). A perspective on recent developments in Utility Theory. In S. Ríos (Ed.). Decision theory and decision analysis: trends and challenges (pp. 15-31). Norwell: Kluwer Academic Publishers. [ Links ]
Goodwin, P., & Wright, G. (1991). Decision analysis for management judgment. Chichester: John Wiley & Sons. [ Links ]
Keeney, R., & Raiffa,H.(1993). Decisions with multiple objectives: preferences and value tradeoffs. Cambridge: Cambridge University Press. [ Links ]
Klein, S. (1997, December). Introduction to electronic auctions. In B. Schmid & S. Klein (Eds.). EM -Electronic Markets, 7(4). EM -Electronic Auctions. Recuperado em 5 junho, 2004, dehttp://www.cs.mu.oz.au/~eas/subjects/654/ klein-em.pdf [11] [ Links ]
Leenders, M., & Fearon,H.(1997). Purchasing and supply management. Chicago: Irwin/McGraw-Hill. [ Links ]
MCAfee, R. P., & MCMillan, J. (1987). Auctions and bidding. Journal of Economic Literature, 25(2), 699-738. [ Links ]
Raiffa,H.(1994). The prescriptive orientation of decision making: a synthesis of decision analysis, behavioral decision making, and game theory. In S. Ríos (Ed.). Decision theory and decision analysis: trends and challenges (pp. 3-14). Norwell: Kluwer Academic Publishers. [ Links ]
Ruediger,M.A.(2002). Governo eletrônico ou governança eletrônica: conceitos alternativos no uso das tecnologias de informação para o provimento de acesso cívico aos mecanismos de governo e da reforma do Estado. Recuperado em 12 maio, 2004, de http:// www.clad.org.ve/fulltext/0043106.pdf [12] [ Links ]
Secretaria de Logística e Tecnologia da Informação, Ministério do Planejamento, Orçamento e Gestão - SLTI/MP (2000, setembro). Pregão: uma nova modalidade de licitação. Elaborado por Ciro Campos Christo Fernandes. Brasília: Secretaria de Logística e Tecnologia da Informação, Ministério do Planejamento, Orçamento e Gestão. Recuperado em 6 agosto, 2004, de http://www.comprasnet.gov.br/publicacoes/licitacao.pdf [13] [ Links ]
Simon, H. (1955). A behavioral model of rational choice. Quarterly Journal of Economics, 69(1), 99-118. [ Links ]
Vergara, S.C. (2000). Projetos e relatórios de pesquisa em administração (3a ed). São Paulo: Atlas. [ Links ]
Von Neumann, J., & Morgenstern, O. (1947). Theory of games and economic behavior (2nd ed). New Jersey: Princeton University Press. [ Links ]
Winterfeldt, D. von, & Edwards, W. (1986). Decision analysis and behavioral research. Cambridge: Cambridge University Press. [ Links ]
Artigo recebido em 15.10.2004.
Aprovado em 16.12.2004
Alexandre Linhares, Doutor em Pesquisa Operacional pelo Instituto Nacional de Pesquisas Espaciais. Professor-adjunto da Escola Brasileira de Administração Pública e de Empresas da Fundação Getulio Vargas (EBAPE/FGV) e membro do Clube de Roma. Seus trabalhos científicos foram publicados em periódicos científicos como Artificial Intelligence, Cognitive Science, Computers & Operations Research, International Journal of Systems Science, Journal of Air Transport Management, International Journal of Modern Physics, IEEE Transactions on Evolutionary Computation, Minds and Machines, International Journal of Production Research, entre inúmeros outros. Suas áreas de interesse em pesquisa são ciências da decisão e management science. Endereço: Praia de Botafogo 190/509, Rio de Janeiro/RJ, 22257-970. E-mail: linhares@fgv.br [14]
Ronald do Amaral Menezes, Mestre em Gestão Empresarial pela Escola Brasileira de Administração Pública e de Empresas da Fundação Getulio Vargas (EBAPE/FGV). Assessor Especializado do Instituto de Pesquisa Econômica Aplicada, atualmente exercendo a função de Diretor-adjunto de Cooperação e Desenvolvimento. Professor convidado dos Cursos do MBA do Programa FGV Management. Suas áreas de interesse em pesquisa são gestão empresarial, ciências da decisão, gestão do conhecimento e management science. Endereço: SBS, Quadra 1, Bloco J, Ed. BNDES, Sala 811, Brasília/DF, 70076-900. E-mail: ronald.menezes@ipea.gov.br [15]
Renaud Barbosa da Silva, Livre-docente em Administração de Material (Logística) pela Universidade do Estado do Rio de Janeiro (UERJ). Professor da Escola Brasileira de Administração Pública e de Empresas da Fundação Getulio Vargas (EBAPE/FGV). Coordenador dos cursos de pós-graduação em Logística Empresarial e Gestão de Organizações Hospitalares e Sistemas de Saúde do FGV Management. Coordenador do Programa de Certificação Profissional da FGV/EBAPE. Coordenador de projetos de consultoria da área de Logística. Suas áreas de interesse em pesquisa estão concentradas em operações e logística. Endereço: Praia de Botafogo 190, apto. 1305.2, Rio de Janeiro/RJ, 22257-970. E-mail: renaud@fgv.br [16]
Fonte: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1415-65552007000300002&lang=pt
Acessado em 5 de maio de 2015.