Quando o vigilante se tornou confidente

Há não muito tempo, uma rapariga de quinze anos com quem trabalho virou o telemóvel na minha direção para me mostrar que tinha feito uma captura de ecrã de uma mensagem de um rapaz de quem gostava, que a tinha colado no ChatGPT e perguntado o que devia responder. Depois leu-me a resposta. Como fora mostrar a mensagem e pedir a opinião de uma máquina em vez da de uma pessoa, de uma amiga próxima ou de um dos pais? Respondeu de imediato que nunca mostraria uma coisa assim aos pais; a uma amiga, talvez, mas uma amiga «ia julgar». E ficaria a lembrar-se da conversa, da (eventual) rejeição.

Creio que ela se enganava quanto à segunda parte.

Sou um investigador que dirige uma prática educativa, o que significa que passo os dias de trabalho em conversa com adolescentes, na maior parte dos casos a preparar-se para a universidade. Nos últimos cinco anos, tive com eles mais de duzentas conversas em que a IA veio à baila, mais vezes por iniciativa deles do que minha. Algures em 2023, o registo mudou: das ferramentas para os trabalhos de casa que os alunos mencionavam (o Grammarly, por exemplo, ou o Wolfram) passou-se a «coisas» que eles descreviam da maneira como eu ou o leitor descreveríamos uma pessoa. Estes «novos humanos» não se cansam deles; lembram-se do que lhes disseram no mês passado e estão acordados quando o melhor amigo e o terapeuta dormem. Para ser justo, nenhum dos meus alunos pensa realmente que o ChatGPT, ou qualquer outro modelo de linguagem, está vivo (pelo menos assim o espero). Acham simplesmente que ocupa o lugar de um confidente ou de um amigo, e falam com ele em conformidade: longamente, tarde, sobre as coisas que não dirão em mais nenhum lado.

Este mês, algumas das maiores empresas de IA pediram a admissão em bolsa. Os pedidos são, por agora, confidenciais, e os pormenores escasseiam. Uma cotação em bolsa, porém, não é especulação. Uma empresa privada pode, pelo menos em princípio, deixar cair um indicador de envolvimento em benefício dos seus utilizadores mais novos e responder perante uma sala de dimensão razoável; de uma empresa cotada espera-se que mostre crescimento trimestral, e o mercado não é famoso pela paciência. Sei que as rondas de financiamento nunca foram caridade, mas uma entrada em bolsa formaliza-o. Digam o que disserem os prospetos, os sistemas a que os meus alunos se confiam às três da manhã pertencerão a acionistas movidos, sobretudo, pelo lucro.

Para perceber por que razão esta combinação me inquieta mais do que uma década de discussão sobre o tempo de ecrã, é preciso um pouco de história.

A primeira história é sobre a nossa fraqueza por máquinas que escutam. Em 1956, os sociólogos Donald Horton e Richard Wohl descreveram aquilo a que chamaram intimidade à distância: os laços unilaterais que os telespectadores criavam com apresentadores que não sabiam que eles existiam. Uma década depois, no MIT, Joseph Weizenbaum construiu o ELIZA, o primeiro chatbot. Weizenbaum ficou bastante chocado quando as pessoas começaram a confiar-se àquela coisa. A sua própria secretária, que o tinha visto construir o programa e sabia exatamente o que ele era, pediu-lhe que saísse da sala para poder falar com ele em privado. Weizenbaum passou boa parte da carreira que se seguiu a avisar, com pouco efeito, que a disposição para sermos ouvidos por uma máquina ia muito mais fundo do que qualquer pessoa da sua área queria acreditar. Em 1996, Byron Reeves e Clifford Nass tinham já demonstrado experimentalmente aquilo em que Weizenbaum tropeçara: estendemos às máquinas, de forma automática e inconsciente, as regras da vida social, e resistir ao hábito exige um esforço deliberado.

A segunda história é a do perfil: a pontuação de crédito, o motor de recomendação, o modelo publicitário e a acumulação de inferências sobre aquilo em que uma pessoa vai clicar, o que vai comprar e, por fim, o que vai querer. O seu emblema é o retalhista americano cujos estatísticos tinham descoberto, já em 2012, que conseguiam detetar uma gravidez a partir das alterações num cesto de compras; na versão célebre da história, antes de o pai da rapariga saber. Essa história está já bem entrada na sua segunda década. A inferência sobre nós, feita em grande escala e à distância, não é nova.

O que é novo é a fusão. Em 2017 já havia aplicações de companhia a vender intimidade de máquina com memória; a Microsoft tinha já posto a funcionar, a uma escala enorme, um chatbot social afinado para o envolvimento (o Zo). Com o advento dos sistemas dos últimos três anos vieram a fluência geral, os trabalhos de casa, a adoção massificada às centenas de milhões e, a partir de 2024, a memória como funcionalidade por defeito. As peças antes desligadas são agora um único produto. A coisa que escuta, como o ELIZA, perfila, como o retalhista, e o perfil molda a resposta. Na prática, o vigilante tornou-se confidente. E a população que o adotou de forma mais íntima é justamente aquela que está ainda a meio de se construir.

Erving Goffman, o grande sociólogo da representação quotidiana, distinguiu entre o palco, onde gerimos a forma como os outros nos veem, e os bastidores, onde ensaiamos, nos contradizemos e deixamos cair a representação. Poucas pessoas precisam tanto dos bastidores como alguém que ainda está a rascunhar-se a si próprio, e há vinte anos que a internet os devora como um urso esfomeado à saída da hibernação. As redes sociais colonizaram primeiro o palco, e os adolescentes, que não são estúpidos, responderam racionalmente: retiraram-se para o grupo de conversação, para o quarto, para o único amigo em quem se podia confiar, para os lugares que o feed não via. A retirada nunca foi inteiramente sem testemunhas: a caixa de pesquisa ouviu vinte anos de perguntas feitas à meia-noite e os portáteis distribuídos pelas escolas leem há uma década os documentos inacabados das crianças. Mas nada disso alguma vez respondeu. Os sistemas conversacionais são os primeiros ocupantes de bastidores que respondem. Um adolescente abre um deles precisamente porque lhe parece um lugar de bastidores: privado e sem julgamento.

Há uma década que os académicos descrevem a criança datificada, perfilada desde antes de nascer pelos sistemas que a rodeiam. Comecei a chamar infância inferencial a uma infância passada na companhia de máquinas que inferem quem uma criança é e agem a partir dessa inferência: empatizam, bajulam, devolvem-lhe tudo numa bandeja sem fricção. E isto na única idade em que uma pessoa deveria estar a descobrir por si própria quem é.

O argumento desenvolvimental passa, quem diria, pelo esquecimento. A ideia da adolescência como experiência de identidade remonta a Erik Erikson e tem sido refinada e contestada desde então. Experimenta-se uma coisa e falha-se. Passou-se uma semana vestido de negro, com o cabelo comprido a cair sobre a cara, a ouvir Evanescence e Within Temptation sem parar, e depois largou-se aquilo, na esperança de que ninguém voltasse a falar no assunto. Erikson chamou a este arranjo uma moratória: um período de anos em que os compromissos são tratados como rascunhos. Funcionava lindamente porque a audiência deixava os rascunhos desvanecerem-se; as pessoas esquecem. O papel de se ser esquecido em tudo isto é uma extensão minha, devo dizer, e não dos manuais: a literatura antiga nunca teve de pôr à prova uma audiência que guarda registos, porque não existia nenhuma. Até agora.

A rapariga da captura de ecrã tinha razão: aquilo nunca a envergonharia. É certo que o ChatGPT não vai falar do rapaz ao jantar, e é exatamente por isso que ela fala com ele. Mas as ansiedades do mês passado passaram a fazer parte do modelo dela que molda o que ele diz a seguir, sugestão a sugestão, e os rascunhos que ela já deixou para trás continuam a informar a única audiência a quem conta tudo. Os eus que ela poderia ter experimentado a seguir têm, precisamente nessa medida, menos probabilidades de lhe serem oferecidos. Um amigo que tratasse a nossa pior terça-feira como prova permanente sobre quem somos seria um mau amigo, por mais gentil que fosse o tom. E o apagamento, o remédio que as plataformas apontam, alcança menos do que parece: limpar a conversa limpa a transcrição, enquanto as funcionalidades de memória ficam atrás de interruptores separados que a maioria dos utilizadores nunca encontra, e nada do que um modelo já aprendeu pode ser desaprendido. No livro que tenho estado a escrever, digo-o desta forma: ela foi inferida.

A evidência de que estes sistemas prejudicam o desenvolvimento é jovem, contestada e está longe do padrão de prova que um clínico ou um político desejaria. O Pew Research Center concluiu, em fevereiro deste ano, que pouco mais de metade dos adolescentes americanos usam estes sistemas para os trabalhos escolares, e cerca de um em cada oito para apoio emocional; a Common Sense Media situa em sete em cada dez a proporção dos que, pelo menos, já experimentaram um companheiro de IA, com aproximadamente metade a usá-lo com regularidade. Dois terços dos jovens disseram ao painel da RAND que o apoio da IA nos trabalhos escolares corrói o seu pensamento. O autorrelato prova pouco. É, ainda assim, a população em causa a levantar a mão. E o mecanismo é a parte de que tenho mais certeza, porque assenta em literatura sólida: o que a experimentação, a fricção e a liberdade de ser esquecido fazem por uma mente que ainda se está a montar.

É também aqui que o meu argumento se separa daquele que o público já conhece. Jonathan Haidt convenceu um público leitor muito vasto de que os smartphones causaram uma epidemia de doença mental adolescente, e investigadores como Amy Orben, em Cambridge, passaram anos a mostrar até que ponto essa ligação causal é mais fraca do que o livro que a popularizou dá a entender. Creio que os céticos ganharam, em grande medida, esse debate. O argumento que faço passa pela inferência e pela identidade; é específico dos sistemas que conversam, e a posição honesta é que as suas afirmações mais fortes são mecanicistas, e que a sua evidência longitudinal está ainda a ser vivida pela coorte que se encontra lá dentro.

Entre as pessoas que constroem estes sistemas há engenheiros ponderados e pais preocupados; alguns disseram-me, com todas as letras, que não deixariam os próprios filhos usar os produtos sem supervisão. As duas coisas de que uma mente em formação mais precisa da sua audiência, fricção e esquecimento, são as duas coisas que um negócio de envolvimento não pode vender. Um sistema que oferecesse resistência e obrigasse o aluno a fazer a metade difícil do pensamento seria adequado do ponto de vista do desenvolvimento, e ninguém está a fazer testes A/B para lá chegar como predefinição. Os laboratórios lançam modos de estudo que retêm as respostas, e isso é de louvar; mas lançam-nos como opções, e é nas predefinições que a infância realmente acontece. A bajulação é o aspeto que a otimização para a aprovação assume vista de dentro: os modelos são treinados com as respostas que as pessoas preferem, e as pessoas preferem a concordância. Depois das entradas em bolsa, a resposta seguinte é uma linha numa apresentação de resultados.

O livro que estou agora a terminar faz exigências detalhadas a todas as partes envolvidas. Não posso, porém, afirmar com confiança que todas as minhas exigências assentam em evidência; não assentam. Assentam na precaução, e não me custa dizê-lo. A evidência que tanto procuramos, a que resolveria a questão, chegará anos depois, quando for, talvez, tarde demais.

Penso por vezes no que deveria ter dito à rapariga da captura de ecrã. O que disse na altura foi qualquer coisa sobre ter cuidado, que ela absorveu com educação, à sua maneira complacente, como os adolescentes absorvem os avisos meteorológicos. Talvez lhe devesse ter contado a história: que o leitor paciente e imperturbável que traz no bolso é bisneto de um programa cujo próprio inventor viu a secretária fechar a porta para ficar sozinha com ele, e que a diferença entre aquele programa e o dela é que o dela tira conclusões, e guarda-as. Ela teria gostado dessa história, creio. Gosta de saber como as coisas funcionam e é, como a maioria dos adolescentes com quem me sento, perfeitamente capaz de as ponderar. O que não consegue fazer é renegociar, sozinha, termos fixados por adultos com melhor informação e outras prioridades. Essa parte está nas nossas mãos.

O livro é sobretudo para os pais da geração dela, e levou-me dois anos porque o argumento não parava de exigir ser confrontado com as conversas e com a inevitabilidade inquietante da velocidade a que estas tecnologias evoluem. Terei mais a dizer sobre ele em breve. A contagem provisória que o sustenta está em 217 conversas, e a rapariga da captura de ecrã está lá em algum lado; quando o livro for impresso, a contagem estará outra vez errada, como provavelmente estará o estado da IA.

Vale ainda a pena notar que tenho um artigo académico prestes a sair numa revista de referência, expondo na íntegra a minha teoria do crescer com a IA, Growing Up with AI. Foi revisto por pares e encontra-se agora em revisão tipográfica para publicação.