El problema con los nuevos chatbots no es solo que a menudo son estúpidos e ingenuos;es que no son lo suficientemente “estúpidos” o “ingenuos” para captar los matices, las ironías y las reveladoras contradicciones que constituyen la cultura y la comunicación humanas.Peor aún, al confiar en ellos, corremos el riesgo de sucumbir a la misma estupidez.
LJUBLJANA – No hay nada nuevo acerca de los “chatbots” que son capaces de mantener una conversación en lenguaje natural, comprender la intención básica de un usuario y ofrecer respuestas basadas en reglas y datos preestablecidos. Pero la capacidad de tales chatbots se ha incrementado dramáticamente en los últimos meses, lo que ha provocado preocupación y pánico en muchos círculos.
Mucho se ha hablado de los chatbots que auguran elfinal del tradicional ensayo estudiantil.Pero un problema que merece una mayor atención es cómo deben responder los chatbots cuando los interlocutores humanos usan comentarios agresivos, sexistas o racistas para incitar al bot a presentar sus propias fantasías malhabladas a cambio. ¿Deberían programarse las IA para responder al mismo nivel que las preguntas que se plantean?
Si decidimos que algún tipo de regulación está en orden, entonces debemos determinar hasta dónde debe llegar la censura. ¿Se prohibirán las posiciones políticas que algunas cohortes consideran “ofensivas”? ¿Qué pasa con las expresiones de solidaridad con los palestinos de Cisjordania, o la afirmación de que Israel es un estado racista (que el ex presidente estadounidense Jimmy Carter puso una vez en el título de un libro)? ¿Serán bloqueados como “antisemitas”?
El problema no termina ahí.Como advierteel artista y escritor James Bridle, las nuevas IA están “basadas en la apropiación total de la cultura existente”, y la creencia de que “realmente tienen conocimiento o son significativas es activamente peligrosa”.Por lo tanto, también debemos tener mucho cuidado con los nuevos generadores de imágenes de IA. “En su intento de comprender y replicar la totalidad de la cultura visual humana”, observa Bridle, “[ellos] parecen haber recreado también nuestros miedos más oscuros. Quizás esto sea solo una señal de que estos sistemas son muy buenos para imitar la conciencia humana, hasta el horror que acecha en las profundidades de la existencia: nuestros miedos a la suciedad, la muerte y la corrupción”.
DALL-E Generador de imágenes Foto: Captura de pantalla
Pero, ¿qué tan buenas son las nuevas IA para aproximarse a la conciencia humana? Considere el bar que recientemente anunció una bebida especial con los siguientes términos: “¡Compre una cerveza por el precio de dos y reciba una segunda cerveza absolutamente gratis!” Para cualquier ser humano, esto es obviamente una broma. El clásico especial “compre uno, llévese otro” se reformula para anularse. Es una expresión de cinismo que será apreciada como honestidad cómica, todo para impulsar las ventas. ¿Se daría cuenta un chatbot de algo de esto?
“Fuck” presenta un problema similar. Aunque designa algo que la mayoría de la gente disfruta hacer (el sexo), también suele adquirir una valencia negativa (“¡Estamos jodidos!”, “¡Vete a la mierda!”). El lenguaje y la realidad son desordenados. ¿Está lista la IA para discernir tales diferencias?
En su ensayo de 1805 ” Sobre la formación gradual de pensamientos en el proceso del habla ” (publicado por primera vez póstumamente en 1878), el poeta alemán Heinrich von Kleist invierte la sabiduría común de que uno no debe abrir la boca para hablar a menos que tenga una idea clara. de qué decir: “Si, por lo tanto, un pensamiento se expresa de manera borrosa, entonces no se sigue en absoluto que este pensamiento haya sido concebido de manera confusa. Por el contrario, es muy posible que las ideas que se expresan de manera más confusa sean las que se pensaron con mayor claridad”.
La relación entre lenguaje y pensamiento es extraordinariamente complicada. En un pasaje de uno de los discursos de Stalin de principios de la década de 1930, propone medidas radicales para “detectar y combatir sin piedad incluso a aquellos que se oponen a la colectivización solo en sus pensamientos. Sí, lo digo en serio, debemos combatir incluso los pensamientos de las personas”. Uno puede suponer con seguridad que este pasaje no fue preparado de antemano. Después de quedar atrapado en el momento, Stalin inmediatamente se dio cuenta de lo que acababa de decir. Pero en lugar de dar marcha atrás, decidió seguir con su hipérbole.
Como diría más tarde Jacques Lacan , se trata de un caso de verdad que emerge por sorpresa a través del acto de enunciación. Louis Althusser identificó un fenómeno similar en la interacción entrepremioysorpresa. Alguien que de repente capta (”premio“) una idea se sorprenderá de lo que ha logrado. De nuevo, ¿puede cualquier chatbot haceresto?
El problema no es que los chatbots sean estúpidos; es que no son lo suficientemente “estúpidos”. No es que sean ingenuos (faltan ironía y reflexividad); es que no son lo suficientemente ingenuos (faltan cuando la ingenuidad enmascara la perspicacia). El verdadero peligro, entonces, no es que las personas confundan un chatbot con una persona real; es que la comunicación con chatbots hará que las personas reales hablen como chatbots, perdiendo todos los matices e ironías, diciendo obsesivamente solo lo que uno cree que quiere decir.
Cuando era más joven, un amigo acudió a un psicoanalista para recibir tratamiento después de una experiencia traumática. La idea de este amigo de lo que estos analistas esperan de sus pacientes era un cliché, por lo que pasó su primera sesión haciendo falsas “asociaciones libres” sobre cómo odiaba a su padre y lo quería muerto. La reacción del analista fue ingeniosa: adoptó una postura ingenua “prefreudiana” y le reprochó a mi amigo no respetar a su padre (“¿Cómo puedes hablar así de la persona que te hizo ser lo que eres?”). Esta ingenuidad fingida envió un mensaje claro: no compro tus “asociaciones” falsas. ¿Sería capaz un chatbot de captar este subtexto?
Lo más probable es que no, porque es como la interpretación que hace Rowan Williams del príncipe Myshkin enEl idiotade Dostoievski . De acuerdo con la lectura estándar, Myshkin, “el idiota”, es un santo, “un hombre positivamente bueno y hermoso” que es llevado a la locura aislada por las duras brutalidades y pasiones del mundo real. Pero en la relectura radical de Williams, Myshkin representa el ojo de la tormenta: por bueno y santo que sea, es él quien desencadena los estragos y la muerte de los que es testigo, debido a su papel en la compleja red de relaciones que lo rodean. .
No es solo que Myshkin sea un tonto ingenuo. Es que su tipo particular de estupidez lo deja inconsciente de sus efectos desastrosos en los demás. Es una persona plana que literalmentehabla como un chatbot.Su “bondad” radica en el hecho de que, como un chatbot, reacciona a los desafíos sin ironía, ofreciendo lugares comunes desprovistos de toda reflexividad, tomándolo todo literalmente y confiando en una autocompletación mental en lugar de una auténtica formación de ideas.Por esta razón, los nuevos chatbots se llevarán muy bien con ideólogos de todas las tendencias, desde la multitud “despierta” de hoy hasta los nacionalistas “MAGA” que prefieren permanecer dormidos.
Slavoj Žižek, profesor de Filosofía en la Escuela Europea de Graduados, es director internacional del Instituto Birkbeck de Humanidades de la Universidad de Londres y autor, más recientemente, de Heaven in Disorder (OR Books, 2021).
¡Boletín gratuito!
Registra tu correo y recibe diario información de becas, cursos, empleos y apoyos
LJUBLJANA – No hay nada nuevo acerca de los “chatbots” que son capaces de mantener una conversación en lenguaje natural, comprender la intención básica de un usuario y ofrecer respuestas basadas en reglas y datos preestablecidos. Pero la capacidad de tales chatbots se ha incrementado dramáticamente en los últimos meses, lo que ha provocado preocupación y pánico en muchos círculos.
Mucho se ha hablado de los chatbots que auguran elfinal del tradicional ensayo estudiantil.Pero un problema que merece una mayor atención es cómo deben responder los chatbots cuando los interlocutores humanos usan comentarios agresivos, sexistas o racistas para incitar al bot a presentar sus propias fantasías malhabladas a cambio. ¿Deberían programarse las IA para responder al mismo nivel que las preguntas que se plantean?
Si decidimos que algún tipo de regulación está en orden, entonces debemos determinar hasta dónde debe llegar la censura. ¿Se prohibirán las posiciones políticas que algunas cohortes consideran “ofensivas”? ¿Qué pasa con las expresiones de solidaridad con los palestinos de Cisjordania, o la afirmación de que Israel es un estado racista (que el ex presidente estadounidense Jimmy Carter puso una vez en el título de un libro)? ¿Serán bloqueados como “antisemitas”?
El problema no termina ahí.Como advierteel artista y escritor James Bridle, las nuevas IA están “basadas en la apropiación total de la cultura existente”, y la creencia de que “realmente tienen conocimiento o son significativas es activamente peligrosa”.Por lo tanto, también debemos tener mucho cuidado con los nuevos generadores de imágenes de IA. “En su intento de comprender y replicar la totalidad de la cultura visual humana”, observa Bridle, “[ellos] parecen haber recreado también nuestros miedos más oscuros. Quizás esto sea solo una señal de que estos sistemas son muy buenos para imitar la conciencia humana, hasta el horror que acecha en las profundidades de la existencia: nuestros miedos a la suciedad, la muerte y la corrupción”.
Pero, ¿qué tan buenas son las nuevas IA para aproximarse a la conciencia humana? Considere el bar que recientemente anunció una bebida especial con los siguientes términos: “¡Compre una cerveza por el precio de dos y reciba una segunda cerveza absolutamente gratis!” Para cualquier ser humano, esto es obviamente una broma. El clásico especial “compre uno, llévese otro” se reformula para anularse. Es una expresión de cinismo que será apreciada como honestidad cómica, todo para impulsar las ventas. ¿Se daría cuenta un chatbot de algo de esto?
“Fuck” presenta un problema similar. Aunque designa algo que la mayoría de la gente disfruta hacer (el sexo), también suele adquirir una valencia negativa (“¡Estamos jodidos!”, “¡Vete a la mierda!”). El lenguaje y la realidad son desordenados. ¿Está lista la IA para discernir tales diferencias?
En su ensayo de 1805 ” Sobre la formación gradual de pensamientos en el proceso del habla ” (publicado por primera vez póstumamente en 1878), el poeta alemán Heinrich von Kleist invierte la sabiduría común de que uno no debe abrir la boca para hablar a menos que tenga una idea clara. de qué decir: “Si, por lo tanto, un pensamiento se expresa de manera borrosa, entonces no se sigue en absoluto que este pensamiento haya sido concebido de manera confusa. Por el contrario, es muy posible que las ideas que se expresan de manera más confusa sean las que se pensaron con mayor claridad”.
La relación entre lenguaje y pensamiento es extraordinariamente complicada. En un pasaje de uno de los discursos de Stalin de principios de la década de 1930, propone medidas radicales para “detectar y combatir sin piedad incluso a aquellos que se oponen a la colectivización solo en sus pensamientos. Sí, lo digo en serio, debemos combatir incluso los pensamientos de las personas”. Uno puede suponer con seguridad que este pasaje no fue preparado de antemano. Después de quedar atrapado en el momento, Stalin inmediatamente se dio cuenta de lo que acababa de decir. Pero en lugar de dar marcha atrás, decidió seguir con su hipérbole.
Como diría más tarde Jacques Lacan , se trata de un caso de verdad que emerge por sorpresa a través del acto de enunciación. Louis Althusser identificó un fenómeno similar en la interacción entrepremioysorpresa. Alguien que de repente capta (”premio“) una idea se sorprenderá de lo que ha logrado. De nuevo, ¿puede cualquier chatbot haceresto?
El problema no es que los chatbots sean estúpidos; es que no son lo suficientemente “estúpidos”. No es que sean ingenuos (faltan ironía y reflexividad); es que no son lo suficientemente ingenuos (faltan cuando la ingenuidad enmascara la perspicacia). El verdadero peligro, entonces, no es que las personas confundan un chatbot con una persona real; es que la comunicación con chatbots hará que las personas reales hablen como chatbots, perdiendo todos los matices e ironías, diciendo obsesivamente solo lo que uno cree que quiere decir.
Cuando era más joven, un amigo acudió a un psicoanalista para recibir tratamiento después de una experiencia traumática. La idea de este amigo de lo que estos analistas esperan de sus pacientes era un cliché, por lo que pasó su primera sesión haciendo falsas “asociaciones libres” sobre cómo odiaba a su padre y lo quería muerto. La reacción del analista fue ingeniosa: adoptó una postura ingenua “prefreudiana” y le reprochó a mi amigo no respetar a su padre (“¿Cómo puedes hablar así de la persona que te hizo ser lo que eres?”). Esta ingenuidad fingida envió un mensaje claro: no compro tus “asociaciones” falsas. ¿Sería capaz un chatbot de captar este subtexto?
Lo más probable es que no, porque es como la interpretación que hace Rowan Williams del príncipe Myshkin enEl idiotade Dostoievski . De acuerdo con la lectura estándar, Myshkin, “el idiota”, es un santo, “un hombre positivamente bueno y hermoso” que es llevado a la locura aislada por las duras brutalidades y pasiones del mundo real. Pero en la relectura radical de Williams, Myshkin representa el ojo de la tormenta: por bueno y santo que sea, es él quien desencadena los estragos y la muerte de los que es testigo, debido a su papel en la compleja red de relaciones que lo rodean. .
No es solo que Myshkin sea un tonto ingenuo. Es que su tipo particular de estupidez lo deja inconsciente de sus efectos desastrosos en los demás. Es una persona plana que literalmentehabla como un chatbot.Su “bondad” radica en el hecho de que, como un chatbot, reacciona a los desafíos sin ironía, ofreciendo lugares comunes desprovistos de toda reflexividad, tomándolo todo literalmente y confiando en una autocompletación mental en lugar de una auténtica formación de ideas.Por esta razón, los nuevos chatbots se llevarán muy bien con ideólogos de todas las tendencias, desde la multitud “despierta” de hoy hasta los nacionalistas “MAGA” que prefieren permanecer dormidos.