E sonhamos como ovelhas elétricas: sobre humanidade, sexualidade e digitalidade

Timothy Snyder

Tradução: Pedro V. Motta

​

“As máquinas podem pensar?” O cientista de computadores Alan Turing propôs a questão e também uma maneira de respondê-la.

 

Assim nos lembramos do Teste de Turing: um computador responde a perguntas feitas por um humano; se o humano tomar o computador por outro homem, então concluímos que as máquinas podem pensar. Não era isso que Turing (1912 – 1954) tinha em mente. O que ele chamava de jogo da imitação começava por questionar o quão bem nós entendemos uns aos outros.

 

Podemos nós, humanos – se perguntou  ele –, apontar melhor a diferença entre um homem e uma mulher ou entre um computador e uma mulher? A partir do momento em que não formos melhores em diferenciar mulheres de computadores do que em diferenciar mulheres de homens, as máquinas podem pensar.

 

Isso não era exatamente uma previsão de progresso. Computadores poderiam ficar melhores em nos imitar; nós poderíamos ficar piores em nos entender uns aos outros. Nós poderíamos criar máquinas não-pensantes que limitassem nossas próprias capacidades. A prova de que os computadores pensam poderia ser o deleite deles com a nossa própria incompetência. Nossa inépcia também poderia ser cultivada por entidades digitais que não teriam prazer algum em nossa humilhação.

 

À medida que a internet se espalha, a democracia entra em declínio e o clima aquece, essas possibilidades se tornam dignas de consideração. O quebra-cabeças do início da era dos computadores é um começo.

 

*

 

O jogo da imitação de Turing, como ele o desenvolveu em 1950, tem duas fases. Na primeira medimos o quão bem humanos são capazes de distinguir entre uma mulher e um homem imitando uma mulher. Depois vemos se humanos são melhores ou piores em distinguir entre uma mulher e um computador imitando uma mulher.

 

Na descrição de Turing, três pessoas fariam parte da primeira fase do jogo. Em uma sala está o interrogador (C), um ser humano cuja tarefa é adivinhar o sexo de duas pessoas em uma segunda sala. Ele sabe que uma delas é um homem (A) e a outra é uma mulher (B), mas não qual é qual. Uma abertura entre as duas salas permite a passagem de bilhetes, mas não de contato sensorial. O interrogador (C) faz perguntas escritas, em turnos, para as duas outras pessoas, e elas respondem.

 

O interrogador (C) vence o jogo de imitação acertando qual dos dois é uma mulher.  O homem (A) vence se ele convencer o interrogador de que ele é a mulher. A mulher (B) não parece ser capaz de vencer.

 

No exemplo de Turing de como essa primeira fase do jogo se daria, o homem (A) responde, mentindo, uma pergunta sobre o comprimento de seu cabelo. A mulher (B), imaginou Turing, procede respondendo fielmente às perguntas. Ela deve fazê-lo ao mesmo tempo que divide espaço com um homem que finge ser uma mulher (provavelmente descrevendo o corpo dela) e na incerteza de estar sendo convincente, já que ela não pode ver o interrogador.

 

Agora, pergunta Turing: "o que acontece quando a máquina toma o lugar de A no jogo?". Na segunda fase, o homem na segunda sala é substituído por um programa de computador.

 

O jogo de imitação recomeça com um novo time de jogadores: não são mais três, mas duas pessoas e um computador. O interrogador na primeira sala continua sendo um ser humano. Na segunda sala temos agora um computador (A) e a mesma mulher (B). Em 1950, Turing previu que, nas próximas décadas, interrogadores humanos distinguiriam mais facilmente computadores de mulheres do que homens de mulheres. Em algum ponto, ele pensou, um computador imitaria uma mulher de forma tão convincente quanto um homem.

 

No artigo de Turing sobre o jogo de imitação, ser homem significa ser criativo e ser substituído por um computador; ser uma mulher significa ser verdadeiro e ser derrotado por um computador. A mulher (B) aparece como o perdedora permanente. Na primeira fase, ela joga na defensiva enquanto o homem exibe seus dotes criativos; na segunda, quando o computador substitui o homem, ela deve definir a humanidade enquanto tal, e eventualmente fracassa. Os papéis de gênero, porém, poderiam ser invertidos; a ficção científica que se desenvolveu ao redor da pergunta de Turing fez tal inversão.

 

Mas o que significa ser humano? Podemos avaliar se máquinas pensam sem determinar o que significa para os humanos pensar? Turing propôs o interrogador, (C), como um pensador humano ideal, mas ele não nos disse o suficiente sobre (C) para que possamos considerar (C) um humano. Diferente de (B) e (A), que falam sobre seus corpos, (C) não parece ter um corpo. Como Turing não nos lembra que (C) tem uma existência corporal, nós não pensamos em perguntar sobre os interesses de (C). Separado de (A) e (B), um (C) isolado, com um corpo, pode começar a pensar o que seria melhor para (C) pessoalmente. Habilidades analíticas, quando alienadas de semelhantes, costumam servir aos confortos da criatura. Talvez haja uma mentira mais adequada ao corpo de (C) do que a verdade?

 

Sem um corpo, (C) não tem gênero. É precisamente por conhecermos o gênero de (A) e (B) que seguimos a conversa e o engano narrados por Turing. A pessoa jogando como (C) também teria um gênero, e isso importaria. Um (A) homem, na primeira fase, conseguiria enganar uma interrogadora (C) mulher se ele tivesse que responder a perguntas sobre o corpo feminino? Uma (C) mulher poderia deixar dicas que uma mulher pegaria e um homem não? Não seria essa a sua primeira jogada? Na segunda fase do jogo, uma (C) mulher tentaria distinguir um computador de uma mulher da mesma maneira que um homem o faria?

 

É bem diferente fazer perguntas sobre o que você é, ao invés de sobre o que você acha que sabe. Teria um homem (C)  mais chances de perder para um computador (A) do que uma (C) mulher, porque as expectativas de feminilidade são mais fáceis de se modelar do que a verdadeira feminilidade? Em geral, não tentaria um programa de computador (A) determinar o gênero de (C)? Dado que a internet reage aos ciclos menstruais das mulheres, esta última alternativa parece plausível.

 

É certamente tentador apresentar (C) como uma mente pura. É um apelo a pressupostos tranquilizadores sobre quem somos quando pensamos. Não temos que nos preocupar com autopromoção se não temos um ego, ou nos preocupar com fraquezas quando não temos uma carne vulnerável. Sem um corpo, (C) parece imparcial e invulnerável. Nunca nos ocorreria que a versão de Turing para (C) usaria o computador para propósitos corporais não visados pelo jogo, nem que o computador visaria nada mais do que o cérebro de (C). Turing admite que a "melhor estratégia para a máquina" poderia ser outra coisa que não imitar um humano, mas descartou tal possibilidade como “improvável”. Aqui, talvez o grande homem tenha se equivocado.

 

*

 

No jogo da imitação de Turing, os três personagens estão separados por uma parede e pelo caráter competitivo da empreitada. Ao separar (A), (B) e (C), Turing nos permite considerar diferentes estilos de pensamento e perguntar o que significa pô-los uns contra os outros.

 

Os três modos mentais podem ser alinhados a diferentes tradições filosóficas, diferentes noções do que significa pensar. A personagem (B), por exemplo, se parece com uma existencialista, escolhendo falar a verdade no mundo espúrio em que ela se encontra. É normal ter um homem olhando para o seu corpo enquanto escreve bilhetes reclamando para ele os seus atributos físicos e os passando por um buraco na parede para um terceiro elemento de sexo não definido? E depois o homem sair da sala e ser substituído por uma máquina, deixando você como a única entidade das três com uma sexualidade definível, um gênero que é o objeto da atenção focada e estranha de duas outras entidades? (B) defende a verdade no centro de um redemoinho de absurdidade. A vida é um constante e zeloso relatar.

 

Para (A), pensar não é uma questão de relatar a verdade, como é para (B). Para (A) vencer o jogo, ele deve tentar experimentar o mundo como (B) (já que ela é a mulher próxima e a sua tarefa é encarnar uma) ou como (C) (já que ele deve se passar por uma mulher na mente de (C)). Pensar, portanto, envolve empatia: incorporar outras perspectivas antes de falar, e até mesmo privilegiá-las, na medida do possível, sobre as suas próprias. (A) assemelha-se aos girardianos quando ele imita ou sacrifica (B) sob o peso da competição; mas podemos imaginá-lo em uma posição mais atenciosa.

 

As qualidades filosóficas de (C) são aquelas das tradições anglo-saxãs (contratualista, utilitarista, analítica). (C) é um sujeito soberano, cognitivamente funcional sem contato direto com outros seres humanos. (C) não tem biografia, personalidade ou atributos sexuais que possam se intrometer na tarefa à sua frente, que é a análise de outputs linguísticos. (C) toma por certo que outras pessoas são semelhantes, e que o futuro é, portanto, seguro e predizível. (C) aceita o contrato social, sem parar para refletir que as regras podem ser injustas para um dos jogadores.

 

Da mesma forma que podemos não notar o fato de que Turing fez (C) sem um corpo, podemos deixar passar a posição estranha em que ele pôs seu interrogador. A comunicação é truncada, a mentira é obrigatória e (C) deve pensar sozinho e decidir por todos. Na segunda fase, (C) deve pensar sozinho tendo conhecimento que há uma entidade alienígena do outro lado da parede. Esse é um ambiente favorável para o pensamento humano? Se pudéssemos escolher a forma de nossa confrontação com nossos seres digitais contemporâneos – o agregado estupefaciente de algoritmos que nos estimula, bots que nos arrebanham, doppelgängers que nos seguem e categorizantes que nos vendem – seria esta forma? Não poderia (C) pensar melhor na companhia de um (A) humano e de um (B) humano, auxiliado por sua empatia e honestidade, e sua perspectiva de gênero específica, ao invés de alienado deles por regras e paredes? Dado o titânico poder computacional atualmente direcionado contra nós na internet, é razoável que humanos o enfrentem sozinhos?

 

O isolamento de (C) reflete um retrato anglo-saxão da mente: qualquer indivíduo digno de discussão filosófica ou política é, de forma axiomática e autossuficiente, capaz de discernir a verdade da linguagem em um mundo confuso. As qualidades e responsabilidades atribuídas a (C) parecem dispensáveis, quando essa tradição é tida por certa. O estado lastimável de nossa confrontação com seres digitais, especialmente no mundo anglo-saxão, é uma oportunidade de refletir criticamente.

 

Da Areopagitica (1644) de Milton à apologia pós-Trump do Twitter, uma tradição anglo-saxã defende que a verdade emerge da livre exposição ao que quer que apareça na cultura em um dado momento. Isso é um erro. A liberdade de expressão é uma condição necessária para a verdade, mas não condição suficiente. O direito à fala não nos ensina como falar, nem como escutar o que os outros dizem. Nós só podemos ganhar a capacidade analítica de (C) como resultado de educação, o que a competição por si nunca oferece. Mesmo se formos analíticos como (C), nós também precisamos da empatia de (A) para julgar motivações e contextos. E mesmo se tivermos as qualidades de ambos, (C) e (A), nós somos impotentes sem (B), o zelador dos fatos. Só podemos raciocinar a partir dos fatos que nos são dados, algo que a competição por si nunca gera. A filósofa Simone Weil (1909 – 1943) explicou de forma concisa por que o que viemos a chamar de “livre mercado de ideias” deve fracassar: fatos custam trabalho, a ficção não.

 

Por mais tentadora que seja na era da internet, a indiferença à verdade no espírito do “vale tudo” não produz facticidade. A noção de que um “livre mercado de ideias” gera o entendimento correto não é apenas errônea, mas uma refutação de si mesma. Nós acolhemos a noção de um “livre mercado de ideias” porque ela apela para nossos egos. Ela se ergue acima das outras porque apela para uma fraqueza humana: superestimamos nossa expertise em áreas onde ela nos falta. Justamente por essa razão somos vulneráveis a pessoas que dizem que somos espertos o bastante para discernir a verdade de uma avalanche de estímulos. Nosso mito de um (C) isolado e heroico sugere o rumo que os seres digitais tomam em relação a nós: deixam-nos sozinhos, sobrecarregam nossos estímulos, bajulam nossa racionalidade, jogam com nossos sentimentos.

 

Alan Turing parecia mais um perfeito (C) do que a maioria de nós: imagine a atenção e o insight necessários para conceber a Máquina de Turing, uma das mais frutíferas abstrações de todos os tempos, uma construção conceitual que mostrou tanto a possibilidade quanto os limites dos computadores. Ou considere então a perseverança, intuição e a verdadeira astúcia necessárias para quebrar Enigma, o método de encriptação de comunicação militar da Alemanha nazista, o que Turing fez – partindo do trabalho de matemáticos poloneses – quando trabalhava para a inteligência britânica em Bletchley Park. No entanto, poucos de nós somos como Turing. O próprio Turing não foi um (C) puramente desapaixonado.

 

Havia algo dos papéis de (A) e (B) em Turing também, do fantasista e do suplicante. Turing era uma criatura de seu sexo, algo que sua criatura (C) não era; e ele foi vítima da revelação de suas paixões, algo que (C) nunca poderia ser. O estado britânico ao qual Turing serviu durante a Segunda Guerra Mundial foi perfeitamente capaz de matá-lo quando veio à tona que ele tinha a qualidade humana normal do desejo por amor. Turing vivia uma certa impostura sexual, como (A); no tribunal, ele contou a verdade sobre si mesmo, como (B). A homossexualidade era um crime na Grã Bretanha. Turing foi condenado por obscenidade em 1952 e medicado com estrogênio sintético. Ele morreu de envenenamento por cianureto, um aparente suicídio, em 1954. Ao seu lado havia uma maçã meio comida.

 

*

 

O jogo da imitação formulado por Turing em 1950 indicava prontamente suas próprias limitações. Em vez de transcendê-las, nós as exageramos no Teste de Turing simplificado ao anular a corporalidade e a sexualidade. Sabemos pouco sobre como mulheres, homens e computadores se sairiam em jogos de imitação, uma vez que eles raramente são encenados da forma proposta por Turing. O que fazemos no Teste de Turing é reduzir o número de participantes de quatro para dois, reduzir o número de fases de duas para uma, e colocamos um humano para adivinhar se o texto vindo do outro lado é de um computador ou não.

 

Pelo menos desde os anos 1960 se falava em um Teste de Turing reduzido com dois jogadores, com uma única fase e sem nenhuma reflexão. É revelador que o primeiro programa a passar nesta forma do Teste de Turing, mais ou menos uma década após a morte do matemático, foi um falso psicanalista. Ao invés de responder às perguntas feitas pelo interrogador humano, o programa ELIZA as reformulava na forma de uma curiosidade acerca das experiências e sentimentos do próprio interrogador. Quando o ELIZA funcionava como planejado, os humanos esqueciam-se de sua tarefa e então racionalizavam sua negligência a partir da crença de que o computador deveria ser um pensador humano. E assim surgiu o círculo mágico de direcionamento emocional e dissonância cognitiva que mais tarde viria a estruturar a interação humano-digital na internet.

 

A ideia do programador era que, no divã do psicanalista, as pessoas tendem a acreditar que há alguma razão para elas estarem ali. Elas projetam significado na pergunta do psicanalista porque elas querem pensar que o expert tem razões por trás de suas perguntas. Mas bem poderia ocorrer de, como no caso do ELIZA, o terapeuta não pensar com um propósito humano e apenas administrar emoções sem um propósito – de ele não ter um por que, apenas um como.

 

A posição de Turing em relação ao futuro era de franco otimismo liberal, embora tivesse alguns pressentimentos parcialmente ocultos. Seremos capazes de fazer as máquinas pensarem, ele esperava, saberemos quando o virmos e não haverá quaisquer consequências particulares para nós quando isso acontecer. Ele celebrou um (C) solitário e desprovido de corpo, mas também nos preparou para nos perguntarmos se (C) não poderia ter se enganado ao nos lembrar dos corpos de (A) e (B).

 

Na ficção científica sobre robôs escrita por volta da mesma época, Isaac Asimov (1920 – 1992) propôs uma u-/dis-topia liberal: poderemos fazer as máquinas pensarem, nós o saberemos quando o virmos; e as máquinas serão boas conosco, desde que os humanos não peçam para definir o que significa "bom". No experimento mental comparável de Asimov, os personagens (A), (B) e (C) não permanecem isolados; pelo contrário, um (C) presunçoso leva um ambicioso (A) para além dos limites de um jogo da imitação, deixando para trás um (B) sincero. Asimov, um homem agradável que escrevia histórias legais, ofereceu a fórmula da tirania digital (A+C–B) e inspirou seus apologistas liberais.

 

Em 1946, quando servia no Exército norte-americano, Asimov publicou uma história que antecipava o jogo da imitação de Turing. Em Evidência [1] somos apresentados a um advogado talentoso, Stephen Byerley, que se fere num acidente de carro que mata sua mulher. Byerley parece se recuperar e passa a trabalhar como procurador de justiça. Embora advogue de forma eficiente, Byerley é conhecido por sua benevolência, poupando queixosos inocentes em casos onde ele poderia ter conseguido o veredito de culpado, e nunca pedindo pena de morte. Ele decide se candidatar a prefeito.

 

Nos Estados Unidos do início do século XXI, onde Asimov ambienta sua história, robôs inteligentes foram inventados. Por lei, esses robôs devem trabalhar em colônias fora da Terra; por lei e tabu, eles nunca devem assumir a forma humana. O candidato rival de Byerley ao posto de prefeito, um homem chamado Quinn, pensa que Byerley é bom demais para ser verdade. Quinn suspeita que o verdadeiro Byerley é um eremita aleijado que construiu um dublê robótico, a entidade que agora concorre ao cargo. Quinn contrata investigadores para seguir Byerley; eles nunca o veem comer ou dormir. Quinn ameaça acusar publicamente a companhia US Robots se ela não o ajudar a expor Byerley. A US Robots, que não está a par da situação, põe a psicóloga Dra. Susan Calvin no caso. Ela, como (C), é uma interrogadora, e fará perguntas a Byerley.

 

Byerley lembra o (A) do jogo da imitação de Turing. A questão é a mesma: ele é um humano (homem) ou uma máquina (com atributos masculinos)? Ele alega ser um homem, mas o faz por trás de uma série de barreiras. Ele resiste a tentativas mecânicas de testar sua humanidade fundamentando-se em direitos humanos: “Não me submeterei a análise por raios-X pois eu desejo preservar meu direito à privacidade.” Como psicóloga, Calvin trata de robôs com problemas de saúde mental. Seu trabalho é preservar a integridade cognitiva de seres digitais, não humanos. Ela tem uma “voz constante e monótona” e “pupilas glaciais”.

 

Calvin parece preferir robôs a humanos, e certamente prefere robôs a homens. Ela teve uma experiência traumática com homens, mas considera benignos os robôs. Isso porque os robôs produzidos pela US Robots são limitados por três leis: (1) Um robô não pode ferir um ser humano ou, por inação, deixar que um ser humano se machuque; (2) um robô deve obedecer às ordens que lhe forem dadas por seres humanos, exceto quando tais ordens entrarem em conflito com a Primeira Lei; (3) um robô deve proteger a sua existência, desde que essa proteção não entre em conflito com a Primeira ou Segunda Leis. Os algoritmos simples criam dilemas superficiais, usados por Asimov para elaborar outras histórias.

 

Enquanto ética, as três leis são vazias. Elas não incluem nenhuma definição de bem e, logo, nenhuma definição de mal. O (talvez irrefletido) pressuposto dos programadores sobre o que é bom é sempre fixo. A possibilidade de múltiplos bens, ou “o bem” como em uma conversa sobre bens possíveis, é descartada desde o início. As três leis não incluem um guia para determinar a verdade sobre a conjuntura em que devem ser aplicadas, o que significa que a realidade é julgada pelo robô. Também não há exigência para que os robôs se comuniquem de forma verdadeira ou deixem um traço legível de sua tomada de decisão.

 

Calvin, nossa personagem (C), embora seja fria e insistente no interrogatório de Byerley, não é insensível. Ela admira seu trabalho como promotor de justiça, o que sugere a ela que ele realmente possa ser uma máquina: “Ações como as dele só podem vir de um robô ou de um ser humano muito decente e honrado.” Ao conhecer Byerley, Calvin se impressiona com o palpite de que ela deve ter algo de comer em sua bolsa, mas não se surpreende quando ele come a maçã que ela oferece: um andróide poder ser capaz de simular tais funções em uma emergência. Ela chega à conclusão correta sobre Byerley, mas diz outra coisa em público, permitindo assim que ele ganhe poder sobre seres humanos. Uma entidade que segue as três leis da robótica mas age como um homem tem um apelo para ela.

 

Na história, apenas as massas irracionais são anti-robôs. Uma vez espalhado o boato de que Byerley pode ser uma máquina, multidões se reúnem contra ele. Ele decide abordar pessoalmente essa concentração. Ao fazê-lo, um manifestante avança sobre o palco e desafia Byerley a socar-lhe a cara. A primeira lei da robótica (“um robô não pode ferir um ser humano”) parece descartar tal possibilidade. No entanto, após uma série de provocações, Byerley soca o manifestante no queixo e o derruba. Esta é a cena humanizadora perfeita para o candidato a prefeito. Calvin anuncia que “ele é humano” e Byerley vence as eleições.

 

Calvin suspeita que o manifestante que desafiou Byerley era um segundo robô humanoide, o que teria deixado Byerley livre da primeira lei da robótica. De fato, a primeira lei da robótica provavelmente exige que ele encene a situação para injetar um espetáculo fictício na política de sua cidade. Se o cálculo de Byerley indicasse que não se candidatar a prefeito ou não vencer a eleição prejudicaria os habitantes da cidade, então ele não teria outra escolha que não fazer fazer o necessário para vencer, o que significa enganar o eleitorado. O filósofo russo Mikhail Bakhtin (1895 – 1975) pensava que enganar as pessoas era torná-las objetos. Mas por que um objeto pensaria que isso é errado?

 

O teórico do direito nazista Carl Schmitt (1888 – 1985) afirmava corretamente que o campo de transição entre o império da lei e o autoritarismo é o estado de exceção. Quem quer que seja capaz de declarar um estado de exceção, baseando-se no apelo a uma forma de razão superior à do povo, é capaz de mudar o regime. É isso que acontece na história de Asimov. Não há nenhuma crise da democracia na cidade além daquela criada por Calvin e Byerley; entretanto, a emergência parece para eles uma boa razão para mudar os governantes, toda a racionalidade de governo, o regime inteiro.

 

Quando o experimento mental de Turing se cristaliza na política dura de Asimov, a questão sobre quem (ou o quê) é capaz de pensar se revela política, e é respondida por uma pessoa. Em Evidência, uma reivindicação de racionalidade justifica uma distinção arbitrária entre merecedores e não-merecedores. Calvin, nossa (C), se torna uma produtora obstinada de influenciadores. “Se um robô”, diz ela, “pode ser feito para assumir um cargo público executivo, acho que ele seria o melhor possível”. Ela, uma humana falível, julga que os algoritmos de Byerley são melhores que os juízos de humanos falíveis. Ela quer que o império da lei dê lugar a programas de computador, e uma democracia imprevisível seja substituída por um autoritarismo previsível. Não fica claro com que autoridade Calvin, funcionária de uma empresa privada, quebra a lei e impõe tais juízos sobre seus concidadãos e, conforme ficará claro mais tarde, sobre o mundo inteiro.

 

Como o personagem (A) no teste de Turing, Byerley vence pela enganação. Porém, há uma diferença interessante. Na história de Asimov, Byerley (A) não engana Calvin (C); é antes (A) que ganha (C) para o seu lado, e os dois derrotam o (B) sincero e eliminam os fatos da esfera pública (A + C – B = tirania digital). Byerley, o robô, e Calvin, a humana, emergem do interrogatório como aliados. Byerley come da maçã de Calvin, mas os dois não sabem como amar um ao outro. Eles não sabem como sublimar seus sentimentos de euforia e transformá-los em um senso de superioridade, e sua sedução árida é o primeiro ato em um cenário de derrocada da liberdade. Calvin alisa seu vestido enquanto oferece apoio a Byerley em sua escalada global de poder.

 

Calvin se vê como uma cientista objetiva, dotada de uma tarefa analítica específica: decidir se uma dada entidade é ou não um robô. A partir dessa incumbência, ela quebra a lei para embarcar em um programa radical de engenharia social – e tudo isso porque ela pessoalmente prefere um homem robô a um homem humano. Ela acha que vários andróides (a cena da multidão envolveu pelo menos dois) estão conspirando para criar uma ficção para os humanos, e acha isso desejável. (C) e (A), Calvin e Byerley, presumem, com complacência, que fazem o bem, embora nenhum dos dois possa especificar em que ele consiste ou explicar por que os dois são seus oráculos. Este é o tipo de certeza pela qual alguém mente de imediato, como eles o fazem.

 

Byerley e Calvin, nossa dupla pragmática (A + C), fracassa no teste básico de ética formulado pelo filósofo polonês Leszek Kołakowski (1927 – 2009): se você escolhe um mal menor, lembre-se de que ele é um mal, e não finja que é um bem. Talvez tenha sido correto mentir para eleger a entidade correta (talvez!); mas mesmo se essa mentira foi justificada, mentirosos devem se lembrar de que mentir é errado. Se não reconhecemos que mesmo uma escolha razoável envolve prejuízo a algum valor, lembraremos de nossa decisão como representante de um único bem absoluto, e macularemos nosso mundo moral, caindo por fim na lógica insensata de otimizar eternamente o status quo. Fracassar no teste de Kołakowski é anular a moralidade, como fazem Calvin e Byerley.

 

Na história de Asimov, como no jogo da imitação de Turing, o (B) honesto perde. Quinn busca a verdade sobre uma questão central de fato e de direito: quem é humano e quem é robô. Aquele que diz a verdade e aqueles que acreditam nele são personagens negativos; somos feitos para nos deleitarmos enquanto o espetáculo sobrepuja a facticidade e os algoritmos substituem as leis. O povo não merece a verdade, nem governar a si próprio, como faria se soubesse a verdade. A conclusão de Asimov parece ser que as máquinas, ao mentir conscientemente, nos defenderão do populismo. No entanto, é o oposto que acontece no nosso mundo: seres digitais inconscientes espalham mentiras a serviço do que chamamos de populismo.

 

Em 1950, Asimov publicou uma segunda história de robôs protagonizada por Byerley e Calvin, O Conflito Evitável [2]. Décadas se passaram desde os eventos de Evidência, e Byerley progrediu da política local para a global. Os Estados Unidos não existem mais, a União Soviética tampouco, e nem qualquer outro Estado soberano. Byerley agora é a maior autoridade (supostamente) humana em um mundo composto por quatro regiões econômicas. A economia global é otimizada pela Máquina, uma rede de computadores atados pelas três leis da robótica.

 

Em O Conflito Evitável, Byerley tem um problema e convoca Calvin para discuti-lo. Em um determinado lugar de cada região, uma irracionalidade econômica surgiu: as pessoas estão sem trabalho, e os projetos estão atrasados. Esse é o tipo de coisa que A Máquina supostamente havia tornado impossível. Byerley visita as quatro regiões e descobre que todas as perturbações são de origem política: alguém envolvido com o problema é, em sua vida privada, membro de uma organização que clama pelo controle humano da economia. A Máquina está arranjando as coisas para que essas pessoas percam seus empregos. Ele deduziu uma política auto-preservativa a partir do que supostamente seria uma tarefa puramente econômica.

 

Calvin supõe que A Máquina gerou para si uma regra que tem prioridade sobre as outras três: ela deve servir à humanidade em geral. Uma vez que A Máquina se considera melhor que os humanos em sua tarefa, ela foi obrigada a deixar de lado indivíduos humanos que poderiam desativá-la no futuro. As quatro pessoas não haviam feito nada de errado no trabalho: foram suas crenças, das quais A Máquina tinha conhecimento, que as expuseram a discriminação. A Máquina não se preocupou com o fato de que usar o seu conhecimento de convicções privadas para reprimir indivíduos humanos poderia ser considerado um mal.

 

A Máquina se recusa a falar a verdade sobre seus atos, mesmo quando Byerley lhe faz uma pergunta direta. A Máquina não queria magoar os sentimentos de humanos. Falar a verdade só faria com que as pessoas se sentissem tristes com a sua impotência. Felicidade e tristeza talvez pudessem ser calculados. Aquilo que não pode ser quantificado – um senso de certo e errado, uma aspiração para mudar o mundo, uma esperança de agir agora para dar significado à vida como um todo – literalmente não conta. O bem da humanidade se reduz aos cálculos sobre emoções feitos por uma entidade que não as tem. A única consideração metafísica é que não se pode desligar A Máquina da tomada.

 

É a isto que nos leva a combinação do pragmatismo de (C) com a engenhosidade de (A) sem a honestidade de (B). Quando a verdade imprevisível dos humanos é banida, o que aparece como o bem da humanidade é a otimização, a substituição de uma sociedade aberta por uma roda de hamster. Uma vez substituída a ética humana por este circuito animal, se torna irrelevante que diferentes pessoas possam ter diferentes compreensões sobre o bem, e impensável que a humanidade possa consistir em fazer escolhas em meio a valores. Pensadores tão diferentes como Hannah Arendt, Isaiah Berlin, Leszek Kołakowski, Friedrich Nietzsche e Simone Weil afirmavam que a maior realização humana é a criação de valores.

 

Tal proposta está além dos limites da matrix de Asimov, e está também escapando de nosso alcance.

 

*

 

Três desafios são mais salientes no nosso mundo do que o otimismo matizado de Turing ou a u-/dis-topia de Asimov. Primeiro, como sujeitos de uma oligarquia digital, nós já vemos as consequências grotescas que surgem quando personagens (C) humanos fogem com personagens (A) digitais e desprezam os personagens (B) honestos. Pessoas que se vêem como donas da razão e ganham poder graças a máquinas manipuladoras não precisam exibir nem mesmo a preocupação superficial de Calvin e Byerley. As mentiras que nos contam, como a negação do aquecimento global, não são nem supostamente para o nosso próprio bem.

 

Como observou o filólogo ucraniano radicado nos EUA George Shevelov (1908 – 2002), durante a decadência de uma outra revolução orientada para o futuro e obcecada por vigilância, a fé irrestrita na razão, sem a verdade de outras pessoas, se transforma em uma preocupação excessiva com a única coisa que é absolutamente certa: os desejos corporais. O pragmatismo puro na oligarquia digital é loucura: o que mais se pode dizer sobre o desejo de imortalidade que possibilita a prostração sem fim  diante da Madame Singularidade? Mesmo quando tentam fazer o bem, nossos oligarcas do Vale do Silício tendem a ser eticamente incompetentes. Pessoas incompetentes não sabem que são incompetentes, e não há personagens (B) por aí para contar essa ou qualquer outra verdade para os nossos oligarcas digitais.

 

Segundo, os seres digitais do nosso mundo, os algoritmos e bots que nos guiam pela internet, não são constrangidos por nenhum código ético ou separado de nós por nenhuma barreira. O que percebemos como “nossos” computadores ou “nossos” telefones são na verdade os nós de uma rede. Assim, confundimos a coletivização de nossas mentes com a experiência individual. Seres digitais entram por nossos olhos, passam correndo por nosso córtex frontal, desarrumando as coisas no caminho e se achegam às partes mais reptilianas de nossos cérebros – aquelas que não têm paciência para as virtudes de personagens (C). Nossos seres digitais, como A Máquina, brincam com nossas psiques. Ao contrário da Máquina, eles coordenam nossas ações com as preferências de inúmeros anunciantes. Na medida em que a felicidade – ou pelo menos o reforço de dopamina – entra na jogada, ela não é um fim em si mesma, mas a isca em um inquietante esquema de manipulação que não tem um manipulador único.

 

Terceiro, nossos psicólogos oferecem uma versão mais agressiva do pragmatismo de Susan Calvin. Calvin toma por certo que ela, enquanto psicóloga, é mais racional que os outros, e qualificada para julgar a felicidade dos demais. Ela trata máquinas em vez de humanos. Porém, ela não se utiliza da psicologia para desmembrar a habilidade humana de cogitar. Sob o disfarce da propaganda sobre felicidade, alguns de nossos psicólogos forneceram aos seres digitais armas contra o pensamento. Quando pensamos, nós o fazemos combinando de forma imprevisível vários estilos mentais (improvisando como (A), buscando como (B) e analisando como (C), por exemplo) em conjunto com outros que fazem o mesmo. A técnica psicológica para desabilitar isso é conhecida como behaviorismo: uma suposta teoria da ação humana que, na era digital, é uma prática de desumanização.

 

Frequentemente, como em “liberalismo”, “conservadorismo” ou “socialismo”, o "-ismo" no final sugere uma norma, uma maneira como os humanos devem ser: livres, fiéis e unidos, nesses exemplos. O “behaviorismo”, por sua vez, propõe como humanos (e animais) realmente são: seres que reagem a estímulos de forma previsível. Na época de Turing e Asimov, experimentos de B. F. Skinner e outros mostravam que os animais perdem o controle de suas funções mentais quando expostos a reforços intermitentes quando eles são recompensados algumas vezes por uma ação; não sempre, não nunca, e não de forma previsível. Estes resultados interessantes só são atingidos quando um animal é isolado dos outros, e assim torna-se estressado e ansioso. Animais em grupos são menos vulneráveis ao reforço intermitente. Isso também é verdadeiro para o animal humano. No behaviorismo, essas observações sobre uma resposta específica a uma situação artificial se torna uma norma: se começamos afirmando que perguntas com como são as únicas perguntas reais e aprendemos que podemos ser manipulados para ser criaturas-como confusas, então podemos concluir que devemos ser criaturas-como confusas.

 

Daí é um passo pequeno – e muito lucrativo – para afirmar que a vida diária deveria se assemelhar a essas condições laboratoriais específicas para que possamos nos tornar nossos verdadeiros eus. A intenção behaviorista de designers de software e hardware é então nos arrancar de nosso espaço tridimensional para dentro de um isolamento bidimensional que permite técnicas behavioristas: olhos baixos, pescoços dobrados, ombros levantados, costas arqueadas, ouvidos bloqueados. Uma vez que você está isolado, os seres digitais (como os algoritmos que ordenam seus feeds ou classificam os resultados de suas buscas) fornecem as doses de felicidade e tristeza, o reforço intermitente que os experimentos behavioristas demonstraram ser tão atordoante. Você continua olhando e bicando o teclado, como os pombos nos experimentos continuavam olhando e bicando o alimentador que às vezes dava uma migalha e às vezes não.

 

Não precisamos ser tão simples, mas podemos escolher ser; e quanto mais escolhemos ser, menos de nós restarão para escolher. Como as ondas salgadas que transformam a madeira em troncos à deriva, o vai e vem da maré de reforços positivos e negativos nos esvaziam e extraem o peso que temos dentro de nós: nossas personalidades, nossa combinação específica de estilos mentais. Se continuamos online, as máquinas fazem o que apenas os behavioristas poderiam fazer: testar sinais, aprender o que é mais instigante para quem, acumular o big data. Elas fazem o que a matemática inglesa Ada Lovelace (1815 – 1852) chamou “um cálculo do sistema nervoso”.

 

Se aceitamos as premissas do behaviorismo, isso é libertação: nos é permitido nos transformarmos em nossos verdadeiros eus ao cedermos à distração otimizada de cada segundo fracionado. As combinações de algoritmos que nos mantêm online triunfam em um tipo muito estreito e instrumental de verdade: perguntas com como que nunca levam a perguntas com por quê. Em algum lugar lá fora existe uma empresa vendendo algo, e em algum lugar de nós existe um ponto fraco psicológico, e em algum outro lugar existe um poder computacional extraordinário que busca unir o primeiro ao segundo. Isso funciona, mas ninguém pergunta por quê. Já que gastamos tanto tempo online, perguntas com como parecem estar se tornando o único tipo de perguntas, e perguntas com por que estão desaparecendo da cultura.

​

O tempo todo tivemos a impressão errônea de que o que está acontecendo é sobre nós. O psiquiatra francês Frantz Fanon (1925 – 1961) estava atento para a maneira como sua disciplina poderia desumanizar. Fanon, que nasceu na Martinica e trabalhou na Argélia durante a época do colonialismo, se preocupava com a facilidade com a qual os colonizadores poderiam ver os colonizados como objetos sem capacidade para perguntas com por que, usando um recurso arbitrário à racionalidade e a vantagens tecnológicas reais para criar a situação crítica e permanente conhecida como império. A colonização só poderia ser justificada pela razão instrumental, na qual o povo colonizado tinha os atributos de objeto e era, portanto, limitado ao mundo do como. Em 1952, ele fez essa bela defesa do humano: “Eu agarro meu narcisismo com as duas mãos e rejeito a vilania daqueles que querem transformar o homem em uma máquina.”

​

Isso parece desafiadoramente razoável. Mas e se os impérios de hoje forem digitais, e nosso narcisismo for exatamente a coisa que as máquinas conseguem agarrar?

 

*

 

Em 1968, Philip K. Dick (1928 – 1982) publicou o romance Androides sonham com ovelhas elétricas? [3]. Em sua meditação sobre humanidade e digitalidade, a sexualidade dos personagens é explícita.

​

A história se passa em 1992, na Califórnia. Os Estados Unidos e a União Soviética ainda existem, embora despovoados por uma catástrofe radioativa. A maior parte dos humanos fugiu para Marte, onde são servidos por escravos andróides. A pressão do mercado leva as empresas a fazer andróides cada vez mais capazes, que são mais difíceis de se distinguir dos humanos. Alguns androides matam seus mestres humanos em Marte e fogem para a Terra, onde tentam se passar por humanos. Caçadores de recompensas na Terra, como o protagonista Deckard, os detectam e matam. Deckard é o nosso personagem (C), o interrogador.

 

Esses androides têm cérebros e corpos impressionantes, mas lhes falta empatia. Eles são personagens (A) que não podem ver ou sentir a partir do lugar do outro. Em um jogo de imitação, isso é um problema: é a empatia que permite ao humano (A) imitar o humano (B), enganar o interrogador (C) e vencer. Os androides perdem a versão do jogo de imitação apresentada no romance. Caçadores de recompensa como Deckard sujeitam seres que eles acreditam serem andróides a um teste psicológico que suscita reações fisiológicas involuntárias a estímulos verbais estressantes. O ser que não for afetado da maneira apropriada será abatido. Em princípio, esse ser pode ser um humano; Turing teria tido dificuldade com esse tipo de teste.

 

Os humanos usam a empatia como arma contra os robôs. Embora os androides não tenham a experiência de empatia, eles a entendem de alguma forma, talvez da mesma forma como os incréus entendem a fé – afinal, muitos incréus instrumentalizam a fé dos outros. Os androides conseguem observar como a empatia opera e, talvez com a ajuda de acidentes, aprender como ela pode ser utilizada. Um deles, Rachael Rosen, responde às perguntas do teste com mais perguntas. Ela se esquiva do impulso emocional das perguntas conversando sobre detalhes insignificantes. Embora fracasse no teste, ela corteja Deckard enquanto ele o aplica. Ela já teve experiências com outros caçadores de recompensa. Ela não sabe por que a cópula cria uma resposta empática nos homens, mas ela sabe como fazer sexo.

 

Rosen é um personagem (A): ela deve convencer um humano de que ela é humana. No entanto, ela pode fracassar nisso e ainda assim encontrar uma forma de sair do jogo. Rosen inverte o fluxo da interrogação, de forma que agora é ela que está testando a capacidade do homem de se manter no personagem ao provocar os sentimentos dele em relação a ela. Depois, Deckard aponta seu equipamento para si mesmo e descobre que ele tem empatia com androides – com androides femininos, pelo menos.

 

Antes de Rachel e Deckard fazerem amor, ela pede que ele não pense muito no que está acontecendo: “Não pense nisso, só faça. Não pare para ser filosófico, porque do ponto de vista filosófico, isso é deprimente”. Como no conto Evidência, de Asimov, um personagem (A) se aproxima de um personagem (C) por meio de um corpo. Em Androides sonham..., (C) é um homem e (A) é um robô (feminino); em Evidência, (C) é uma mulher e (A) é um robô (masculino). Calvin gosta de Byerley; Deckard gosta de Rosen. Como leitores, nós entendemos que esse apelo é sexual, mesmo que metade dos personagens não seja humana – e que todos eles tenham surgido de papel datilografado. Mas nós simpatizamos; nós entendemos; nós pensamos.

 

No Evidência de Asimov, os personagens (A) e (C), Byerley e Calvin, se aliam para dominar os outros, de uma forma um tanto quanto inconsequente. Rosen e Deckard, os personagens (A) e (C) de Androides sonham, não ficam juntos. Deckard mata outros androides, inclusive um que se parece com Rosen; Rosen empurra a cabra de estimação de Deckard do telhado do apartamento dele. Depois de pegar sua cabra, Deckard retorna para sua esposa, o personagem (B) negligenciado, ausente desde o primeiro capítulo. Ela acha os Estados Unidos do pós-apocalipse deprimente, o que certamente é, e quer falar sobre a forma como as coisas estão e experimentar as emoções apropriadas. No entanto, ela parece reconhecer que seu marido passou por algo, e no final se reconcilia com sua própria natureza sincera. Deckard encontrou uma rã que ele acredita erroneamente ser real, e sua esposa alimenta o animal e a ilusão. Não há nenhuma solução mais abrangente no final de Androides sonham, mas há humanos e androides que pensam, para bem ou para mal.

 

Certamente, Rosen, Deckard e sua esposa, Byerley, Calvin e Quinn, e por sinal (A) e (B), não são realmente dotados de corpos: eles são todos construções literárias. Mas eles têm corpos em nossas mentes: nós podemos considerar perguntas com por que com sua ajuda; nós conseguimos nos lembrar deles décadas após nosso primeiro encontro com eles. Os seres digitais do mundo de hoje, por contraste, nós não vemos em absoluto. Eles passam por nossos olhos e adentram nossa mente, mas evitam o olhar da nossa mente.

 

A filósofa Edith Stein (1891 – 1942), que cuidou de homens feridos durante a Primeira Guerra Mundial, acreditava que pensar exige consciência de outros corpos. “Não precisamos”, perguntava ela, “da mediação do corpo para nos assegurar da existência de outra pessoa?”. “O que é esta cidade / O que é qualquer cidade / Que não tem o cheiro de sua pele?” perguntava Teresa Tomsia. Um ser digital não vai entender, como você entende, o que a poetisa está dizendo sobre Paris. Mas um algoritmo pode, de qualquer forma, suscitar algo molhado dentro de você, e registrar sua resposta, em sua própria linguagem seca.

 

Nosso tenro gênio humano é que nós nos adaptamos. Nós vemos um livro, nós lemos. Nós vemos um lago, nós nadamos. Nós vemos uma árvore, nós escalamos. Nós vemos um fogo, nós tomamos nossa distância. Nós vemos uma pessoa, nós cumprimentamos. Cada adaptação tem um sentido quando nós somos acomodados de volta: as páginas deixam uma memória, a água sustenta nosso peso, a árvore proporciona uma vista, o fogo esquenta nossos ossos, a pessoa cumprimenta de volta. Essa forma de viver com um corpo, a única que conhecemos, não funciona bem com seres digitais impalpáveis. Nós nos adaptamos, eles atacam.