La Universidad de Chile responde a los desafíos de la actualidad tecnológica
10/05/2023
Funcionarios y funcionarias de facultades e institutos se capacitan en nuevo software de gestión financiera SAP
16/05/2023- Haga el siguiente cálculo: una persona habla entre 150 y 160 palabras por minuto. Eso, en 18 años corresponde a unas 15 millones de palabras, lo que en datos equivale a 75mb de texto.
- Sin embargo, una IA como ChatGPT puede llegar a usar y analizar mucha más información para entregar una respuesta.
Una pregunta ¿Cómo los humanos construyen su lenguaje?
Partamos con una anécdota de la historia. En la Edad Media, Federico II de Hohenstaufe, rey de Sicilia, Chipre y Jerusalén, y emperador del Sacro Imperio Romano Germánico copió un experimento que habría sido diseñado por el faraón egipcio Psamético I para determinar cuál es el idioma natural de las personas.
Según algunas fuentes, el gobernante europeo exigió que encerraran a 30 niños y que sus guardianes los alimentaran sin decir palabra alguna. El objetivo de tan inusual actividad era saber cuál es el idioma “natural de las personas”. En esa época los “sabios” discutían si la primera palabra que pronunciarían los niños sería en hebreo, latín o griego.
Las versiones sobre qué pasó con los niños difieren a partir de este momento. Unos dicen que aprendieron a hablar porque sus guardianes les enseñaron en secreto y otros que murieron.
Años más tarde, cerca del 1500, con mayor rigor metodológico, pero siempre sin criterio, Jacobo IV, Rey de Escocia, ordenó el aislamiento de un niño y una niña en una isla junto a empleados sordos que no sabían hablar. Como es de suponer, los menores sólo aprendieron a hablar en señas. Y no hubo pruebas que demostraran cuál es la lengua o idioma natural de la humanidad.
Estamos hablando de seres humanos en los que el lenguaje surge de la interacción de tres sistemas adaptativos diferentes: aprendizaje individual, transmisión cultural y evolución biológica. [1] El lenguaje es una relación o adaptación de la mente con el entorno y con otros.
Pero cómo se hace para crear un sistema de lenguaje artificial del tipo GPT (Generative Pre-trained Transformer)
El proceso de entrenamiento de GPT implica la alimentación de un modelo neuronal con grandes cantidades de datos de texto, lo que permite que ese modelo aprenda patrones en el lenguaje y la estructura del texto. Esto se hace a través de un proceso llamado pre-entrenamiento, en el que se utiliza una tarea de predicción de lenguaje para entrenar el modelo. Durante el pre-entrenamiento, el modelo aprende a predecir la palabra siguiente en una secuencia de texto, dada una cierta cantidad de palabras anteriores.
Recientemente, Jorge Ortiz científico de datos, lingüista y desarrollador de software realizó la charla ¿Puede ChatGPT conquistar el mundo? Lenguaje humano vs lenguaje de máquina. En esta conversación, disponible en https://www.youtube.com/live/ow1QV5lqQ-E?feature=share, habló del desafío necesario para entrenar a una máquina para que pueda responder a preguntas de todo tipo. En términos sencillos, comentó el científico, una persona habla entre 150 y 160 palabras por minuto. Supongamos que un niño pasa 15 horas diarias despierto y en esas horas el niño puede escuchar el equivalente a 2,325 palabras y en 18 años una cantidad aproximada de 15 millones de palabras. En total esto corresponde a 75 mb de texto.
Como explicamos más arriba, la gracia del ser humano es que ha desarrollado las adaptaciones necesarias para comunicarse mediante el lenguaje. Los seres humanos aprenden el lenguaje a través de la interacción con otros hablantes y mediante la exposición a una variedad de situaciones y contextos lingüísticos. El proceso de adquisición del lenguaje es muy complejo y se basa en una combinación de factores cognitivos, lingüísticos y sociales.
Por el contrario, el lenguaje de ChatGPT es construido a través de un proceso de entrenamiento supervisado en una computadora. El modelo de lenguaje se alimenta con grandes cantidades de datos de texto, y se entrena para predecir la siguiente palabra en una secuencia de texto. De esta manera, el modelo aprende a comprender el significado y la estructura del lenguaje humano y a generar texto coherente y natural.
Y si usamos el ejemplo de las palabras para el ser humano, Jorge Ortiz cuenta que una de los primeros modelos de GPT usó 4.8 gb de datos (64 veces más grande que para el joven de 18 años) y que GPT 3.5 podría usar 570gb ( 7.680 más grande).
Para ser más gráfico, agrega Ortiz. El joven podría escribir “sus palabras” en una ruma de 6 metros, pero GPT 3.5 usaría una montaña de 11,4 kilómetros.
