Resumo:
O governo chinês planeja lançar seu Sistema de Crédito Social em 2020. O objetivo? Julgar a confiança – ou falta dela – de seus 1,3 bilhão de cidadãos.
Em 14 de junho, 2014, o Conselho do Estado da China publicou um documento bem sinistro chamado “Esboço de Planejamento para a Construção de um Sistema de Crédito Social.” Pela forma que a política chinesa documentou, era um texto extenso e bem seco, mas continha uma ideia radical: e se houvesse uma pontuação nacional de confiança que classificasse que tipo de cidadão você é?
Imagine um mundo onde muitas das suas atividades diárias fossem monitoradas e avaliadas constantemente: o que você compra nas lojas e na internet; onde você está em determinado momento; quem são seus amigos e como você interage com eles; quantas horas passa assistindo conteúdo ou jogando vídeogame; e quais contas e impostos você paga (ou não). Não é difícil imaginar, porque a maior parte dessas coisas já acontece graças a todos os gigantes coletores de dados como o Google, Facebook e o Instagram ou aplicativos que analisam sua saúde como o Fitbit. Mas agora, imagine um sistema onde todos esses comportamentos são avaliados como positivos ou negativos e agrupados em um número único, de acordo com regras definidas pelo governo. Essa seria sua Pontuação de Cidadão e diria a todos se você é confiável ou não. Além disso, sua pontuação seria colocada publicamente em um ranking de toda a população e usada para determinar sua qualificação para um financiamento ou um emprego, onde seus filhos poderiam ir à escola ou até mesmo suas chances de conseguir um encontro.
Uma visão futurista de um Big Brother fora de controle? Não, já está no horizonte na China, onde o governo está desenvolvendo o Sistema de Crédito Social (SCS) para avaliar a confiabilidade de seus 1,3 bilhão de cidadãos. O governo chinês está anunciando o sistema como uma forma desejável de medir e aumentar a “confiança” em toda a nação e criar uma cultura de “sinceridade.” Como a política aponta, “Isso forjará um ambiente de opiniões públicas onde manter a confiança será glorioso. Fortalecerá a sinceridade em assuntos do governo, no meio comercial, social e na construção da credibilidade judicial.”
Outros são menos otimistas sobre os verdadeiros propósitos do sistema. “É muito ambicioso, tanto em profundidade quanto alcance, e inclui o escrutínio do comportamento individual e de quais livros as pessoas estão lendo. É o rastreamento de consumo da Amazon com um toque político Orwelliano,” descreve Johan Lagerkvist, um especialista na internet chinesa do Instituto Sueco de Negócios Internacionais, sobre o sistema de crédito social. Rogier Creemers, um pós-doutor que atualmente se especializa nas leis e no governo chineses no Instituo Van Vollenhoven da Universidade de Leiden e publicou uma detalhada tradução do plano, comparou-o a “Críticas no Yelp com o Estado Babá observando sobre o seu ombro.”
Por agora, tecnicamente, participar das Pontuações de Cidadãos da China é voluntário. Mas até 2020 será obrigatório. O comportamento de cada cidadão e pessoa legal (o que inclui todas as empresas ou entidades) na China será pontuado e avaliado, quer queiram ou não.
Antes do lançamento nacional em 2020, o governo chinês está usando da política do ver e aprender. Nesse casamento entre supervisão comunista e capacidade capitalista, o governo concedeu uma licença a oito empresas privadas para criar sistemas e algoritmos para as pontuações de crédito social. Previsivelmente, gigantes dos dados lideram os dois projetos mais conhecidos.
O primeiro é o China Rapid Finance, parceiro da gigante rede social Tencent e desenvolvedora do aplicativo de mensagens WeChat, que conta com mais de 850 milhões de usuários ativos. O outro, Sesame Credit, é gerenciado pelo Ant Financial Services Group (AFSG), uma companhia afiliada ao Alibaba. O Ant Financial vende pacotes de seguro e fornece empréstimos para empresas de pequeno a médio porte. No entanto, a grande estrela da Ant é o AliPay, uma divisão de pagamentos que as pessoas usam não só para compras online, mas também para restaurantes, táxis, tarifas escolares, ingressos de cinema e até mesmo para transferir dinheiro.
O Sesame Credit também se juntou a outras plataformas que gerenciam dados, como o Didi Chuxing, companhia de transportes cuja maior competição era o Uber na China antes dele ter suas operações chinesas compradas pela mesma em 2016, e o Baihe, maior serviço de relacionamentos do país na internet. Não é difícil perceber como tudo acrescenta-se a uma quantidade imensurável de dados que o Sesame Credit pode consultar para avaliar como as pessoas se comportam e pontuá-las de acordo.
Então como as pessoas são pontuadas? Indivíduos no Sesame Credit são avaliados com valores entre 350 e 950 pontos. O Alibaba não divulga o “complexo algoritmo” que usa para calcular o número, mas revela cinco fatores levados em conta. O primeiro é o histórico de crédito. Por exemplo, o cidadão paga sua conta elétrica ou de telefone antes do vencimento? Em seguida é a capacidade de cumprimento, algo definido nas regras como “a habilidade do usuário de cumprir com suas obrigações contratuais.” O terceiro fator são características pessoais, verificando informações pessoais como o número de telefone e endereço. Mas a quarta categoria, comportamento e preferências, é onde as coisas ficam interessantes.
Nesse sistema, algo tão inócuo quanto os hábitos de consumo de uma pessoa se tornam uma medida de caráter. O Alibaba admite que julga as pessoas pelos tipos de produtos que compram. “Alguém que joga vídeogames 10 horas por dia, por exemplo, seria considerada uma pessoa ociosa,” diz Li Yingyun, Diretor de Tecnologia da Sesame. “Alguém que compra fraldas com frequência seria considerado um provável pai, que na média tem um pouco mais de responsabilidade.” Então o sistema não investiga somente o comportamento, ele o molda, “sacode” os cidadãos para longe de compras e comportamentos que o governo não aprova.
Os amigos também importam. A quinta categoria são relações interpessoais. O que suas escolhas de amigos online e suas interações dizem sobre quem é avaliado? Compartilhar o que o Sesame Credit descreve como “energia positiva” online, mensagens positivas sobre o governo ou o quão boa a economia do país está farão sua pontuação subir.
O Alibaba garante que, atualmente, coisas negativas postadas em mídias sociais não afetam as pontuações (não sabemos se é verdade ou não porque o algoritmo é secreto), mas dá para ver como isso pode ficar quando o sistema de pontuação de cidadãos do governo for oficialmente lançado em 2020. Embora ainda não haja indicação de que qualquer uma das oito empresas envolvidas no esquema piloto em andamento será realmente responsável por coordenar o sistema do governo, é difícil acreditar que não vão querer extrair o máximo possível de dados para o SCS dos pilotos. Se isso acontecer, e continue como o novo padrão no próprio SCS do governo, resultará em plataformas privadas agindo essencialmente como agências de espionagem para o governo. Podem nem ter escolha.
Postar opiniões políticas negativas ou links que mencionem a Praça de Tiananmen nunca foram atitudes recomendáveis na China, mas no futuro isso poderia afetar diretamente a pontuação de um cidadão. Mas aqui está a grande jogada: a pontuação de uma pessoa também será afetada pelo que seus amigos online dizem me fazem além do contato direto entre eles. Se alguém a quem estão conectados postar um comentário negativo, a própria pontuação será diminuída.
Então por que milhões de pessoas já se inscreveram para um teste de um sistema de supervisão do governo financiado pelo público? Podem haver motivos mais obscuros e não declarados – o medo de reprimendas, por exemplo, para quem não erguer as mãos – mas também há algo chamativo, na forma de recompensas e “privilégios especiais” para os cidadãos que se provem “confiáveis” no Sesame Credit.
Se a pontuação chega a 600, o cidadão pode requerer um empréstimo de até 5.000 yuan (cerca de R$ 2470) para fazer compras online, desde que seja no site do Alibaba. Chegue a 650 e é possível alugar um carro sem fazer um depósito de entrada. Também é possível fazer check-in mais rapidamente em um hotel e usar o check-in VIP do Aeroporto Internacional de Pequim. Aqueles com mais de 666 pontos podem fazer um empréstimo de até 50.000 yuan (R$ 24.690), obviamente do Ant Financial Services. Tenha mais de 700 e você poderá se inscrever para viagens a Cingapura sem precisar de documentos complementares como uma carta do empregador. Com 750, é agilizado o processo de inscrição para receber um cobiçado visto Schengen para se deslocar pela Europa inteira. “Acho que a melhor forma de entender o sistema é como o filho bastardo de um programa de fidelidade,” diz Creemers.
Pontuações mais altas já se tornaram um símbolo de status, com quase 100.000 pessoas se gabando de suas pontuações no Weibo (o equivalente chinês do Twitter) em meses após o lançamento. A pontuação de um cidadão pode até mesmo afetar suas chances de conseguir um encontro ou um parceiro para o casamento, porque quanto mais alta apontuação Sesame, mais proeminente o perfil no Baihe.
O Sesame Credit já oferece dicas para ajudar os indivíduos a melhorar suas pontuações, incluindo avisos sobre o lado ruim de fazer amizade com alguém que tem nota baixa. Isso pode dar espaço a conselheiros de pontuação, que compartilharão dicas sobre como ganhar pontos, ou consultores de reputação dispostos a oferecer conselhos de experts sobre como melhorar uma pontuação estrategicamente ou sair da lista negra de confiança.
O Sesame Credit é realmente um jogo inserido nos grandes dados pessoais que emula os métodos de supervisão do Partido Comunista: o inquietante dang’an. O regime mantinha um dossiê de todos os indivíduos que investigam transgressões políticas e pessoais. O dang’an de um cidadão o segue pelo resto da vida, da escola ao emprego. As pessoas começaram a denunciar amigos e até mesmo familiares, criando suspeitas e diminuindo a confiança social na China. O mesmo vai acontecer com dossiês digitais. As pessoas terão incentivo para dizer aos amigos de família, “Não poste isso. Não quero que perca pontos e também não quero que faça eu perder os meus.”
Também veremos o surgimento de mercados negros de reputação vendendo formas ocultas de aumentar a confiança. Da mesma forma que as curtidas do Facebook e do Twitter podem ser compradas, indivíduos pagarão para manipular seus pontos. E a questão da segurança do sistema? Hackers (e até mesmo pessoas contratadas do governo) poderiam mudar ou roubar informações gravadas digitalmente.
“Pessoas com pontuações baixas terão velocidades menores de internet, acesso restringido a restaurantes e a remoção do direito de viajar”
– Rachel Botsman, autora de “Em Quem Você Pode Confiar?” (tradução livre)
O novo sistema reflete uma astuta mudança de paradigma. Como apontado anteriormente, ao invés de tentar reforçar a estabilidade ou conformidade com um cabo comprido e uma boa dose de medo, o governo está tentando fazer com que a obediência seja como estar jogando. É um método de controle social travestido em um sistema de recompensas de pontos. É o vídeogame da obediência.
Em um bairro da moda no centro de Pequim, os serviços de notícias da BBC foram às ruas em outubro de 2015 para perguntar às pessoas sobre suas pontuações no Sesame Credit. A maior parte falou dos lados positivos. Mas é inevitável se perguntar, quem criticaria publicamente o sistema? Ding, sua pontuação pode cair. Foi alarmante constatar que poucos compreenderam que uma pontuação ruim poderia afetá-los no futuro. Mais preocupante ainda foi a quantidade de pessoas que não tinham ideia que estavam sendo avaliadas.
Atualmente, o Sesame Credit não penaliza diretamente as pessoas por não serem “confiáveis” – ele é mais eficiente em atrair pessoas com brindes pelo bom comportamento. Mas Hu Tao, chefe administrativo do Sesame Credit, alerta as pessoas de que o sistema é projetado para que “pessoas não-confiáveis não possam alugar um carro, pedir dinheiro emprestado ou até mesmo achar um emprego.” Ela até mesmo informou que o Sesame Credit entrou em contato com o Escritório de Educação da China para compartilhar uma lista de estudantes que colaram em exames nacionais para que eles paguem no futuro pela desonestidade.
As penas estão fadadas a mudar dramaticamente quando o sistema do governo se tornar obrigatório em 2020. Em 25 de setembro de 2016, o Escritório Geral do Conselho de Estado atualizou sua política chamada “Mecanismos de Alerta e Punição para Pessoas que Quebram a Confiança.” O princípio primordial é simples: “Se a confiança for quebrada em um local, restrições são impostas em todos,” segundo o documento da política.
Por exemplo, pessoas com pontuações baixas terão velocidades menores de internet, acesso restringido a restaurantes, casas noturnas ou campos de golfe, e a remoção do direito de viajar livremente para o exterior com, como é descrito, “controle restritivo no consumo em locais para passar as férias ou empresas de viagens.” Pontuações influenciarão a capacidade das pessoas de fazer aluguéis, a habilidade de ter um seguro ou pedir um empréstimo e até mesmo benefícios da segurança social. Cidadãos com pontuações baixas não serão contratados por certos empregadores e serão proibidos de preencher certas vagas, incluindo construção civil, jornalismo e campos legais, onde a pessoa claramente precisa ser considerada confiável. Cidadãos com poucos pontos também serão restringidos quando tentarem matricular-se ou a seus filhos em escolas particulares mais caras. Não estou inventando essa lista de punições, é a realidade que cidadãos chineses vão encarar. Como o documento do governo informa, o sistema de crédito social “permitirá que os confiáveis andem por todos os lados sob o Sol enquanto dificulta os sem créditos de darem um único passo.”
De acordo com Luciano Floridi, professor de Filosofia e ética da informação da Universidade de Oxford e diretor de pesquisa no Instituto da Internet de Oxford, houveram três “mudanças descentralizadoras” críticas que alteraram nossa visão do auto-entendimento: o modelo de Copérnico da Terra orbitando o Sol, a teoria da seleção natural de Darwin e a alegação de Freud de que nossas atividades diárias são controladas por uma mente inconsciente.
Floridi acredita que agora estamos entrando em uma quarta mudança, onde o que fazemos online e offline se unem para se tornar uma onvida. Ele argumenta que, ao passo que nossa sociedade se torna cada vez mais uma infoesfera – uma mistura de experiências virtuais e físicas – estamos adquirindo uma personalidade onvida – diferente do que somos de forma inata no “mundo real.” Vemos isso largamente no Facebook, onde as pessoas apresentam um retrato editado ou idealizado das próprias vidas. Pense nas suas experiências com o Uber. Você é um pouco mais legal com o motorista porque sabe que receberá uma nota? Mas as notas do Uber não são nada comparadas ao Peeple, um aplicativo lançado em março de 2016 que funciona como um Yelp para humanos. Ele permite que você dê notas e críticas para todos que conhece – seu cônjuge, vizinho, chefe e até mesmo ex-namorados(as). O perfil mostra um “Número Peeple,” uma pontuação baseada em todas as respostas e recomendações que você recebe. O preocupante é que depois que seu nome está no sistema do Peeple, fica lá para sempre. Não dá para cancelar.
O Peeple proibiu certos comportamentos nocivos, incluindo mencionar condições privadas de saúde, profanidade ou sexismo (embora isso possa ser objetivamente declarado). Mas há poucas regras sobre como as pessoas são pontuadas ou padrões de transparência.
O sistema de confiança da China pode ser voluntário por enquanto, mas já está tendo consequências. Em fevereiro de 2017, a Suprema Corte das Pessoas do país anunciou que 6,15 milhões de seus cidadãos haviam sido proibidos de pegar voos nos últimos quatro anos por más ações sociais. A proibição está sendo descrita como a um passo da listra negra no SCS. “Assisamos um memorando […] com mais de 44 departamentos do governo para limitar as pessoas ‘descreditadas’ em múltiplos níveis,” diz Meng Xiang, chefe do departamento executivo da Suprema Corte. Outros 1,65 milhão de pessoas na lista negra não podem pegar trens.
O ponto onde esses sistemas realmente caem em território aterrorizante é que a definição de confiável dos algoritmos é injustamente rígida. Não levam contexto em consideração. Por exemplo, uma pessoa pode perder o vencimento de uma conta ou multa porque estavam no hospital; outra pessoa pode realmente estar evitando os pagamentos. E aí está o desafio que encara a todos nós no mundo digital, e não só os chineses: se algoritmos que determinam as vidas das pessoas vieram para ficar, precisamos descobrir uma forma deles entenderem nuances, inconsistências e contradições inerentes aos seres humanos, e como poderiam refletir a vida real.
Você poderia imaginar o plano de confiança da China como um encontro entre o livro 1984 de Orwell com os cães de Pavlov. Aja como um bom cidadão, seja recompensado e farão parecer que você está se divertindo. É importante lembrar, no entanto, que sistemas de pontuação estão presentes no Ocidente há décadas.
Há mais de 70 anos, dois homens chamados Bill Fair e Earl Isaac criaram as pontuações de crédito. Hoje, as empresas usam pontuações FICO para determinar muitas decisões financeiras, incluindo a taxa de juros de um financiamento ou se determinada pessoa deveria poder pedir um empréstimo.
A maior parte dos chineses nunca tiveram crédito, então não podem conseguir crédito. “Muitas pessoas não têm casas, carros ou cartões de crédito na China, então esse tipo de informação não tem como ser medido,” explica Wen Quan, um blog influente que escreve sobre tecnologia e finanças. “O Banco Central tem os dados financeiros de 800 milhões de pessoas, mas somente 320 milhões têm um histórico tradicional de crédito.” De acordo com o Ministério do Comércio chinës, a perda econômica anual causada por falta de informação de crédito é de mais de 600 bilhões de yuan (R$ 296,26 bi).
A falta de um sistema nacional de crédito na China é o motivo pelo qual o governo está tão convencido de que pontuações de crédito estão atrasadas e são muito necessárias para consertar o que descrevem como “déficit de confiança.” Em um mercado mal regulado, a venda de contrabando e produtos abaixo do padrão são grandes problemas. De acordo com a Organização para Cooperação e Desenvolvimento Econömico (OECD), 63% de todos os produtos falsificados, de relógios a bolsas a papinha de bebê, originam-se da China. “O nível de micro-corrupções é altíssimo,” Creemers diz. “Então, se esse sistema em particular resultar em prestação de contas e supervisão eficientes, provavelmente será recebido de bom grado.”
O governo também argumenta que o sistema é uma forma de assimilar as pessoas deixadas de fora dos sistemas tradicionais de crédito, como estudantes e famílias de baixa renda. A professora Wang Shuqin, do Escritório de Filosofia e Ciências Sociais na Universidade Capital Normal na China, recentemente teve o lance vencedor para ajudar o governo a desenvolver o sistema que ela descreve como “Sistema Chinês de Fé Social.” Sem tal mecanismo, fazer negócios na China é arriscado, ela frisa, já que cerca de metade dos contratos não são mantidos. “Dada a velocidade da economia digital, é crucial que as pessoas possam verificar rapidamente a confiabilidade de crédito de outros,” diz ela. “O comportamento da maioria é determinado pelos pensamentos que os cercam. Uma pessoa que acredita nos valores centrais do socialismo se comporta mais decentemente.” Ela considera os “padrões morais” que o sistema avalia junto aos dados financeiros como um bônus.
De fato o objetivo do Conselho do Estado é aumentar a “mentalidade honesta e níveis de crédito de toda a sociedade” de modo a melhorar “a competitividade em geral do país.” É possível que o SCS seja, na verdade, uma forma mais transparente e desejável de supervisão em um país que tem um longo histórico de ficar de olho em seus cidadãos? “Como uma pessoa chinesa, sabendo que tudo que faço online está sendo rastreado, eu preferiria saber dos detalhes do que está sendo monitorado e usar essa informação para aprender como seguir as regras?” diz Rasul Majid, um blogueiro chinês morador de Xangai que escreve sobre design comportamental e psicologia nos jogos. “Ou eu preferiria viver na ignorância e esperar/desejar/sonhar que a privacidade pessoal ainda existe e que nossos corpos governamentais nos respeitam o suficiente para não tirar vantagem de nós?” Simplificando, Majid acredita que o sistema dá um pouquinho mais de controle aos seus dados.
Quando digo aos ocidentais sobre o Sistema de Crédito Social na China, suas respostas são fervorosas e viscerais, mesmo que já estejamos dando notas a restaurantes, filmes, livros e até mesmo médicos. O Facebook, enquanto isso, agora é capaz de te identificar em fotos sem ver seu rosto; só precisa das suas roupas, cabelo e tipo corporal para te marcar em uma imagem com 83% de precisão.
Em 2015, o OECD publicou um estudo revelando que nos EUA há pelo menos 24,9 dispositivos conectados a cada 100 habitantes. Todos os tipos de empresas analisam o “big data” emitido desses dispositivos para entenderem nossas vidas e desejos, e para preverem nossas ações de formas que nem mesmo nós poderíamos.
Governos ao redor do mundo já entraram no negócio do monitoramento e avaliação. Nos EUA, a Agência de Segurança Nacional (NSA) não é o único olho digital oficial seguindo os movimentos de seus cidadãos. Em 2015, a Administração de Segurança do Transporte dos EUA propôs a ideia de expandir as checagens prévias de histórico pessoal para incluir registros nas mídias sociais, dados de localização e histórico de compras. A ideia foi rejeitada após fortes críticas, mas isso não significa que esteja morta. Já vivemos em um mundo com algoritmos previsores que determinam se somos uma ameaça, um risco, um bom cidadão e até mesmo se somos confiáveis. Estamos chegando mais perto do sistema chinês – a expansão da pontuação de crédito à pontuação da vida – mesmo que não percebamos.
Estamos, então, a caminho de um futuro onde todos seremos marcados na internet com nossos dados minerados? A tendência é certamente esta. Exceto por uma possível revolta civil em massa que reivindique a volta da privacidade, estamos entrando em uma era onde as ações de um indivíduo serão julgadas pelos padrões que não podem controlar e onde esse julgamento não pode ser apagado. As consequências não são somente problemáticas, são permanentes. Esqueça seu direito de apagar ou ser esquecido, de ser jovem e tolo.
Embora possa ser tarde demais para impedir essa nova era, ainda temos escolhas e direitos de que podemos usufruir agora. Para começar, precisamos ser capazes de dar notas aos que dão notas. No seu livro O Inevitável, Kevin Kelly descreve um futuro onde os que observam e os observados vão se avaliar de forma transparente. “Nossa escolha central agora é de se a supervisão será um panóptico secreto de mão única ou um tipo de ‘cossupervisão’ mútuo e transparente que envolve supervisionar os supervisores,” ele escreve.
Nossa confiança deveria começar com indivíduos dentro do governo (ou seja quem for que controla o sistema). Precisamos de mecanismos confiáveis para garantir que avaliações e dados sejam usados de forma responsável e com nossa permissão. Para confiar nesse sistema, precisamos reduzir os fatores desconhecidos. Isso significa tomar medidas que reduzam a opacidade dos algoritmos. O argumento contra divulgações obrigatórias é de que se todos souberem o que acontece por trás dos panos, o sistema poderia ser sabotado ou invadido. Mas se os seres humanos estão sendo reduzidos a uma pontuação que poderia afetar suas vidas significativamente, precisa haver transparência no funcionamento da pontuação.
Na China certos cidadãos, como oficiais do governo, provavelmente serão considerados acima do sistema. Qual será a reação pública quando suas ações desfavoráveis não afetarem suas pontuações? Dá para prever os Papéis do Panamá 3.0 por fraudes na reputação.
Ainda é muito cedo para saber no que uma cultura de monitoramento constante com pontuações vai resultar. O que acontecerá quando esses sistemas, traçando o histórico social, moral e financeiro de uma população inteira, entrarem em força total? Quão mais profunda será a erosão da privacidade e liberdade de expressão (há muito sob ataque na China)? Quem irá decidir o caminho que o sistema seguirá? São todas questões que precisamos considerar, e em breve. Hoje a China, amanhã um lugar próximo de você. As verdadeiras perguntas sobre o futuro da confiança não são tecnológicas ou econômicas; são éticas.
Se não formos vigilantes, a confiança distribuída poderia se tornar a vergonha em rede. A vida se tornará uma competição de popularidade sem fim, com todos nós batalhando pela maior pontuação que só alguns podem alcançar.
Este é um trecho de Em Quem Você Pode Confiar? Como a Tecnologia Nos Uniu e Por Que Pode Nos Afastar (Portfólio Penguin) (tradução livre) por Rachel Botsman, publicado em 4 de outubro. Desde que esta peça foi escrita, o Banco da China adiou as licenças das oito empresas que conduziam pilotos de crédito social. Os planos do governo de lançar o Sistema de Crédito Social em 2020 continuam, sem mudanças.
Texto traduzido por Cláudio Ribeiro do artigo original do jornal The New York Times.