Competências digitais: domínio de tecnologias para o desenvolvimento sustentável
Tradução adaptada da fala de Carlos A. Afonso (original em inglês abaixo), diretor-executivo do Nupef, na sessão "NRIs Collaborative Session: Digital competences to harness technologies for sustainable development - Cases and Approaches", do Forum de Governança da Internet da ONU, Genebra, dezembro de 2017 (descrição em anexo em PDF).
As tecnologias digitais chegaram a novos patamares em sua complexidade, incluindo a diversidade e complexidade de sistemas e aplicações em rede.
Enquanto falamos, mineradores de criptomoedas podem ter instalado um script no navegador de seu computador ou celular que uma vez aberto ajuda a prospectar criptomoedas para um desconhecido. Enquanto falamos, há notícias que um banco de um certo país esgotou o estoque de placas de vídeo de alto desempenho no mercado - peças essenciais para prospectar criptomoedas.
Enquanto falamos, algoritmos são usados para decidir contratações e demitissões, liberar ou manter pessoas na prisão, aprovar ou recusar crédito (ou oferecer crédito em condições que variam de acordo com o perfil analisado pelo algoritmo). Segundo estimativas, há a possibilidade que nos próximos 10 a 20 anos cerca de metade dos empregos atuais em países desenvolvidos sejam ameaçados por algoritmos, e 40% das 500 principais empresas podem desaparecer dentro de uma década. [1] Estimativas indicam que entre 2020 e 2060 computadores poderão ultrapassar as habilidades humanas em quase todas as áreas. Pessoas do calibre de Elon Musk, Bill Gates, Stephen Hawking e Steve Wozniak advertem que esta rede de "super inteligência" mecatrônica é uma séria ameaça para a humanidade, possivelmente ainda mais perigosa do que as armas nucleares. [2]
E, enquanto falamos, a "Internet das Coisas", conhecida como "IoT", um dos novos tópicos de conversa da moda e que carreia polpudos contratos de governos para supostos "especialistas", já está presente em nossas casas e bolsos há muito tempo, e centenas de milhões de dispositivos foram implantados sem proteções de segurança adequadas. Na maioria dos casos, ninguém sabe quem realmente construiu o dispositivo ou quem é responsável pelo software embarcado (firmware) executado nele - não há dúvida que nestes casos nunca haverá uma atualização de firmware. No momento, grandes incidentes de sequestro de sistemas por algoritmos ("ransomware") estão ocorrendo usando dispositivos IoT como meio de ataque.
Como esses resultados e presenças têm impacto na vida real, serão automaticamente aceitos pelos tomadores de decisão como válidos ou verdadeiros? Alguns analistas forneceram abundantes exemplos funcionais dos perigos de confiar na tomada de decisão humana via algoritmos. A matemática Cathy O'Neil vem apontando precisamente para esses perigos em várias aplicações típicas desses sistemas. [3]
Hoje, os algoritmos de redes sociais ou transações sabem mais sobre nós do que nossas famílias ou nós mesmos. E eles podem até mesmo oferecer recomendações para decisões que parecem boas, mesmo que não sejam nossas decisões. Uma situação em que estamos cada vez mais controlados remotamente - quanto mais estes sistemas conhecem sobre nós, mais nossas ações podem ser predeterminadas por outros. É algo como passar da programação de computadores para a programação de pessoas.
São os algoritmos de destruição em massa, ou armas matemáticas de destruição, na expressão precisa de Cathy O'Neil.
O que deveria preocupar-nos ainda mais (como se não bastassem os sustos já descritos) é que essa tecno-estrutura não é o privilégio de super-ricos manipulando governos, ou de sistemas estatais de monitoramento e combate ao crime, mas também está ao alcance de hackers que invadem e extraem os dados que eles querem do Pentágono, da Casa Branca, da Equifax, da NSA, ou sequestram toda uma rede (como no caso do NHS da Inglaterra capturado por "ransomware"), e se você sabe que essas vulnerabilidades acontecem nos EUA, o que esperar de outros países?
Nós estamos numa encruzilhada. Se os algoritmos cada vez mais poderosos são controlados por um grupo restrito de tomadores de decisão, reduzindo a nossa autodeterminação ou a opinião equilibrada do senso comum humano, dizem pesquisadores, vamos recuar sobre o que já chamam de uma espécie de feudalismo 2.0.
E aqui chego a um tópico que gostaria que fosse considerado nesta sessão: o desafio de preparar o serviço público, servidores públicos, o setor público, os decisores políticos para entender melhor o que está acontecendo. Vemos nas metas detalhadas para cada um dos 17 Objetivos de Desenvolvimento Sustentável (SDGs) da ONU que as 15 delas que mencionam ou estão relacionados ao desenvolvimento de capacidades parecem evitar essa questão específica de formação do setor público. Em várias frentes, aparecem novos projetos de lei (dezenas deles) tentando regular, modificar, reprimir instâncias de tecnologia para as quais os proponentes não têm idéia do que estão falando.
Nós já vimos um exemplo flagrante disso no debate sobre a neutralidade da rede nos EUA no momento. Vemos muitos exemplos de projetos de lei que propõem bloqueios, censura, controle de conteúdo etc, que geralmente envolvem completa falta de conhecimento do funcionamento dos sistemas em rede. E como resultado os políticos podem ser manipulados por poderosos interesses econômicos para inserir leis tendenciosas que favoreçam seus negócios.
Como criar mecanismos de desenvolvimento de capacidades que levem a uma melhor elaboração de leis e a uma tomada de decisão mais informada pelo setor público (um problema para qualquer campo, mas particularmente agudo quando envolve a complexidade dos sistemas em rede de hoje e de amanhã)?
------
[3] Cathy O'Neil, Weapons of Math Destruction, Nova York: Crown, 2016.
Para assistir à sessão completa com outras participações, visite o canal do IGF no Youtube.
[English original]
Digital technologies have reached new heights in their complexity, including the diversity and complexity of networked systems and applications.
As we speak, cryptocurrency miners may have installed a script on your mobile or desktop browser that, whenever your device is connected to the network, helps mine cryptocurrencies to a stranger. As we speak, news comes from a country in which a bank has depleted the stock of high-performance video cards in the market - to use in cryptocurrency mining.
As we speak, algorithms are used to decide hiring and firing, releasing or holding people in prison, approving or refusing credit (or offering credit under conditions that vary according to the profile analyzed by the algorithm). Data from a group of researchers point to the possibility that in the next 10 to 20 years about half of today's jobs in developed countries will be threatened by algorithms, and 40 percent of the top 500 companies may disappear within a decade. [1] They estimate that between 2020 and 2060 supercomputers will exceed human skills in almost every area. People of the caliber of Elon Musk, Bill Gates, Stephen Hawking and Steve Wozniak warn that this mechatronic "super-intelligence" network is a serious threat to humanity, possibly even more dangerous than nuclear weapons. [2]
And as we speak, IoT, one of the new fashionable talk topics, is already present in our homes and pockets for a long time, and hundreds of millions of devices have been deployed without proper security protections. In most cases, no one knows who actually built the device, or who is responsible for the firmware running in it -- no question that there will never be a firmware update. Right now, major ransomware incidents are happening using IoT devices as means of attack.
How do these results and deployments impact in real life, are they to be automatically accepted by decision-makers as valid or true? Some analysts have provided abundant functioning examples of the dangers of trusting human decision-making to algorithms. Mathematician Cathy O'Neil is an outstanding example of a researcher pointing precisely to these dangers in several typical applications of these systems. [3]
Today, social networking or transaction algorithms know more about us than our family or ourselves. And they can even offer recommendations for decisions that look good, even if they are not our decisions. A situation where we are increasingly remotely controlled - the more these systems know about us, the more our actions can be predetermined by others. It's something like going from computer programming to people programming.
It's the algorithms of mass destruction, or weapons of *math* destruction, in Cathy O'Neil's precise expression.
What should concern us even more (as if we needed to be more frightened) is that this whole techno-entangled apparatus is not the privilege of the super-rich manipulating governments, or state systems of monitoring and fighting crime, but it is also within the reach of common hackers who invade and extract the data they want from the Pentagon, the White House, Equifax, the NSA, or take a whole network for ransom (as in the case of England's NHS captured by ransomware), and if you know that these vulnerabilities happen in the US, what to expect in other countries?
We are at a crossroads. If ever more powerful algorithms are controlled by a narrow group of decision makers, reducing our self-determination or the balancing opinion of human common sense, researchers say, we will fall back on what they call a sort of feudalism 2.0.
And here I reach a topic I would like to have considered for this session: the challenge of preparing public service, public servants, the public sector, political decision-makers to better understand what is going on. We see in the many targets described for the 17 SDGs that the 15 ones mentioning or related to capacity development seem to avoid this specific issue of formation of the public sector. On several fronts, we learn of new bills of law (dozens of them) trying to regulate, modify, repress instances of technology for which the proposers have no idea of what they are talking about.
We have seen a glaring example of this in the debate on net neutrality in the USA right now. We see many examples of bills proposing blockades, censorship, content control etc which usually involve complete lack of knowledge of the functionings of networked systems. And as a result politicians may be manipulated by powerful economic interests to insert biased laws favoring their businesses. How to create capacity development mechanisms which will lead to better law-making and more informed decision-making by the public sector (a problem for any field, but particularly acute when it involves the complexities of the networked systems of today and tomorrow)?
------
[3] Cathy O'Neil, Weapons of Math Destruction, New York: Crown, 2016.
To watch the full session, visit the IGF 2017's channel at Youtube.