Relatório COPPE-UFRJ do Voto-E

1. Histórico do "Relatório COPPE"

A Fundação COPPETEC, ligada à UFRJ, foi contratada pelo Partido dos Trabalhadores em 2002, para elaborar uma avaliação da qualidade do software do Sistema Informatizado de Eleições (SIE) do TSE.

Assim, em agosto de 2002, os professores Ana Regina Cavalcanti da Rocha e Guilherme Horta Travassos e os pesquisadores Gleison Santos Souza e Sômulo Mafra compareceram ao TSE por cinco dias, para assistirem a apresentação dos programas do SIE.

O relatório produzido era taxativo quanto a absoluta falta de confiabilidade técnica contra falhas do conjunto de programas do SIE, o que motivou o PT entrar com pedido de impugnação dos programas no dia 16 de agosto de 2002. Tão graves eram as falhas apontadas no Relatório COPPE que a Secretaria de Informática do TSE solicitou ao PT manter secreto o seu conteúdo para não provocar desconfiança no sistema eleitoral que produzia.

Diante da boa perspectiva de vitória nas eleições presidenciais, ao PT também não interessava tornar público a falta de confiabilidade do sistema informatizado de eleições, para não ter questionada sua esperada vitória. Foi assim que o PT decidiu atender ao pedido do TSE e manter secreto o conteúdo do Relatório COPPE.

Como as falhas apontadas que levariam a erros nos programas eram graves, o TSE aceitou a impugnação dos programas e decidiu tentar corrigí-los, convocando uma não prevista apresentação dos programas aos partidos em setembro. Mas, no afã de esconder do resto da sociedade as mazelas encontradas, o TSE recusou-se a esclarecer aos demais partidos quais eram estas falhas apontadas e quais as correções adotadas! Os fiscais dos demais partidos teriam que aprovar as alterações feitas em alguns dos mais de 35.000 arquivos do sistema, sem saber quais eram ou onde se encontravam!

Os técnicos do COPPE também compareceram a esta segunda apresentação dos programas mas seu novo relatório também foi mantido secreto.

Corroborando a afirmação do Relatório COPPE, de que a qualidade do software produzido pelo TSE "era imprevisível", durante a votação e apuração no primeiro turno das eleições de 2002 uma série de erros de funcionamento e de segurança foram descobertos. Por isto, em outubro, uma terceira seção de apresentação e avaliação dos progamas do SIE ocorreu antes do 2º turno de 2002. Não se tem conhecimento se um terceiro relatório do COPPE foi produzido nesta ocasião.

2. Autenticidade do Relatório COPPE

Em 28 de fevereiro de 2004, mensagens quase simultaneas foram divulgadas na lista de debate internacional UPA-EVOTING e na lista de debate brasileira VOTO-E, informando que o Relatório COPPE estava disponível no endereço <http://www.angelfire.com/journal2/tatawilson>.

Como a fonte das mensagens, as quais tinham como origem aparente a cidade de Amsterdã na Holanda, não se identicava, afirmando apenas ser ex-funcionário da Justiça Eleitoral no Brasil, levanta-se naturalmente o questionamento sobre a autenticidade do documento disponibilizado na Internet.

Somente os técnicos do COPPE, que o desenvolveram, e os técnico do PT e do TSE, que a ele tiveram acesso, poderiam confirmar a autenticidade deste documento mas, como dito acima, a decisão destas pessoas foi justamente a de manter secreto o relatório para evitar que a sociedade brasileira tivesse conhecimento dos defeitos apontados no SIE.

Por isto, é muito pouco provável que estas entidades venham a se pronunciar a respeito da autenticidade do relatório publicado na Internet. Não se manifestaram até o momento e não deverão se manifestar para confirmá-lo como autêntico por que contrariaria seus próprios interesses em manter o obscurantismo. Também não devem afirmá-lo falso pois chamaria a atenção sobre eles.

Uma análise sobre o conteudo do relatório publicado dá a impressão de autêntico pois é bem elaborado, complexo, rico em detalhes, muito especializado e tecnicamente coerente. Inicia com quase um tratado sobre Controle de Qualidade de Software e somente bons especialistas nesta área específica da informática, como os autores indicados, poderiam tê-lo escrito.

Os professores Ana Regina Cavalcanti da Rocha e Guilherme Horta Travassos são bastante produtivos e conceituados no meio acadênico de sua especialidade, já tendo criado até uma forma de trabalho que lhes é peculiar. Detalhes da forma de abordagem adotada no relatório publicado na Internet guardam semelhança com outros trabalhos publicados por estes professores revelando quase que suas "impressões digitais" no texto agora divulgado.

Por estes motivos, acredita-se que dificilmente haverá um desmentido sobre a autoria do relatório publicado e pode-se considerá-lo autêntico.

3. Classificação e Avaliação do Relatório COPPE

O Relatório COPPE pode ser classificado como INDEPENDENTE na sua produção, pois seus autores foram contratados e remunerados pelo PT e não pelo desenvolvedor e operador do sistema, o TSE, mas DEPENDENTE na sua divulgação, pois o TSE estimulou o PT, e obteve êxito, a não publicá-lo oportunamente.

O fato do TSE ter solicitado ao PT manter secreto o relatório serve de evidência da independênca da sua produção. Se as críticas do relatório tivessem sido de alguma forma atenuadas por interferência do corpo técnico do TSE, como ocorreu no caso do Relatório UNICAMP, o relatório COPPE seria divulgado até com espalhato como ocorreu no caso UNICAMP.

Quanto a seu escopo ou abrangência, comparando-o com os relatórios da UNICAMP e da SBC, pode-se dizer que o Relatório COPPE é o MENOS ABRANGENTE deles, pois seus autores restringiram-se a analisar especificamente a documentação interna do software, focando-se apenas no aspecto da qualidade desta documentação. Outros aspectos do software do SEI, como por exemplo o projeto e a operação da segurança contra fraudes, que foram analisados e criticados nos demais relatórios, não foi abordado pelo COPPE.

Mesmo a compilação dos programas (etapa final na produção do software), cuja desorganização e falta de documentação foi citada no Relatório SBC e deu margem para a impugnação do PDT, não foi acompanhada pelos técnicos do COPPE.

Mas esta limitação no escopo da análise não deve ser entendida como restrição ao relatório e, sim, como sua característica. Seus autores, especialistas em documentação de software que são, limitaram sua análise à sua especialidade. E dentro deste escopo aprofundaram sua análise até o ponto necessário para se sentirem seguros para emitir o relatório com críticas e sugestões coerentes. Pode-se classificá-lo como tendo PROFUNDIDADE DE ANÁLISE ADEQUADA para cobrir os pontos escolhidos pelos autores.

Apesar da limitação no escopo da análise, o Fórum do Voto-E considera muito boa a qualidade técnica do Relatório COPPE, sobre o sistema eleitoral de 2002, no âmbito em que se aplica (confiabilidade contra falhas).

4. Principais Conclusões e Sugestões

O Relatório COPPE foi um tanto prolixo na redação de suas conclusões mas ainda é possível extrair-lhes um resumo objetivo:
A documentação não indicou o uso de um processo adequado de desenvolvimento nem garante que os programas do SIE tenham a qualidade esperada e necessária;
Não há registros sobre os testes realizados, nem sobre os índices de confiabilidade do produto;
Foi utilizado um processo de desenvolvimento de software bastante ad-hoc e imaturo, o que em geral conduz a produtos de qualidade imprevisível;
O sistema não estava pronto e nem havia sido testado e homologado quando foi apresentado aos partidos políticos;
Não se pode fazer afirmativas sobre a confiabilidade do produto quanto a falhas.

As sugestões do Relatório COPPE foram separadas em dois grupos: a) para aplicação imediata (2002); e b) para serem aplicadas para 2004.

Para aplicação imediata, sugeriram definir um processo sistemático para testes e depuração de código que permita, inclusive, testes de homologação externa (pelos partidos políticos). A recomendação a médio prazo (para as eleições 2004 e seguintes) foi de que seja definido um processo de projeto e desenvolvimento compatível com a norma internacional ISO 12207, que a equipe seja treinada para seguir o processo e que a gerência do projeto audite rigorosamente a obediência ao processo.

As conclusões do Relatório COPPE, mesmo considerando seu escopo restrito, confirma o problema também apontado nos relatórios SBC e Unicamp, de que os partidos políticos, auditores naturais do sistema eleitoral, não dispõe de meios nem conseguem, na prática, estabelecer a confiabilidade dos programas de computador utilizados nas eleições brasileiras, o que vai contra à propaganda oficial do TSE que sempre divulga que os partidos "aprovaram" os programas.

5. Destaques

Abaixo destaca-se algumas afirmações colhidas do Relatório COPPE . "Pode-se então afirmar com relação à metodologia CTM/IS: Trata-se de uma metodologia incompleta e em alguns aspectos ultrapassada e incoerente; A metodologia não tem procedimentos claramente estabelecidos para garantia da qualidade do produto"
"o que se pode observar na documentação não indicou o uso de um processo adequado de desenvolvimento e garantia da qualidade."
"Não há registros sobre os testes realizados, nem sobre os índices de confiabilidade do produto"
"Concluímos, portanto, que a forma como o software parece ter sido desenvolvido, isto é, o que se pode deduzir da documentação colocada para exame, não garante que este tenha a qualidade esperada e necessária. Foi utilizado um processo de software bastante ad-hoc e imaturo, o que em geral conduz a produtos de qualidade imprevisível, fortemente dependentes de características pessoais dos desenvolvedores."
"Vários documentos fazem referência a datas de término da codificação.. (que) mostram que a codificação ultrapassou a data de avaliação dos partidos."
"Com base no exame da documentação disponibilizada não se pode fazer afirmativas sobre a confiabilidade do produto."
"Os softwares não têm padrão de interface claro. Não há documentos descrevendo-o."
"As soluções algorítmicas são repetitivas e em alguns casos inadequadas"
"A organização interna das aplicações demonstra que não ocorreu preocupação com o projeto do software, e, A fase de projeto do software parece não ter sido realizada."

"Há alguns absurdos na documentação..."