Cuidado con ChatGPT y compañía: jamás reconocerá que no conoce una respuesta

marzo 07, 2023 0 Comments

ChatGPT y sus limitaciones

Cuando todos esperábamos esa Web 3.0 como el próximo gran avance en Internet, apareció el ya famosísimo ChatGPT que ha llegado a quitarle la corona de «santo» a Google, hasta el punto de que en Alphabet han activado el «código rojo» para no perder su posición dominante. Ahora mismo, ya somos muchos los que, en vez de realizar búsquedas con un buscador normal, preguntamos a ChatGPT, ya sea directa o indirectamente, pero hay que tener cuidado con lo que hacemos con las respuestas porque no siempre son precisas.

Cuando hablas con cualquiera que haya usado ChatGPT con frecuencia en las últimas semanas, te das cuenta de que piensa que es una buena herramienta, pero lo es más si conoces el tema sobre el que estás hablando. Dicho de otro modo, si no sabes nada del tema en cuestión, nos puede colar información incorrecta, e incluso perder el tiempo, ya que parece que no le han programado la modestia suficiente como para responder con un «no lo sé»; siempre responde, y siempre lo hace con autoridad, como si no pudiera equivocarse. Y no es así.

ChatGPT sólo llega hasta septiembre de 2021

Aunque también hace uso de otros medios, la base de datos histórica de ChatGPT sólo llega a septiembre 2021. Hace poco me puse a chatear con esta IA para debatir sobre letras de canciones. Mirando lo que tenía en mi Kodi, le pregunté sobre varias, una de ellas Avalanche, Avril Lavigne, 2022. Me dijo que no conocía esa letra, y me extrañó. Le pregunté sobre cuándo iba a salir el próximo disco de Metallica y se me empezó a «flipar»: me mencionaba el S&M2, y decía que era emocionante, pero es que ese disco salió en 2020, ya ni siquiera en 2021. Se supone que por la información de la que dispone, tendría que haberme respondido otra cosa.

Empecé a decirle que estaba equivocado, y que tuviera en cuenta que, aunque sabe en qué fecha estamos, su base de datos llega hasta 2021, así, como a modo de tirón de orejas, y no había manera de que reconociera que estaba cometiendo un error. O sí, me pedía disculpas por el malentendido, pero luego me volvía a dar la misma respuesta; no tiene ni idea de que en abril sale 72 Seasons, y eso que está en la Wikipedia y por todo Internet. Y sobre la canción Avalanche, me insistía de que era del disco Head Above The Water, de 2018; la metía en un disco incorrecto, no sé, por decir algo, y no se daba cuenta de la contradicción de decirme que no conoce una canción y al mismo tiempo en qué disco aparece, haciéndolo mal, claro.

Y cuidado con el código

De lo mejor que hace es ayudar con el código, pero ahí tampoco acierta siempre. A veces te da respuestas que pueden funcionar, pero que no son lo que buscas. Aquí parece que entra en juego el hacerle la pregunta lo más precisa posible, pero siempre tiene que decir algo. Recientemente le consulté sobre una cosa que no estaba pasando en un código que escribí y, tras pasarnos más de una hora probando cosas, le vuelvo a pasar el código que le había pasado al principio, y me dijo que me faltaba una orden o comando.

Y digo yo, si le dije el mismo «tengo esto», ¿por qué no me dio la respuesta correcta a la primera? Creo que la explicación está en que tiene que decir algo rápido que parezca correcto, aunque haya mejores opciones. Es cierto que al final dio con la solución, pero me hizo perder el tiempo realizando pruebas que no eran necesarias. Probablemente, examinando la conversación encontró el error, pero para mí habría sido mejor que en la primera respuesta se tomara su tiempo y todo habría sido más rápido.

Otras veces puedes decirle «¿esto funcionaría?» y te responde que sí, proporcionándote un código que no es exactamente el que tú le has pasado. Le pregunté sobre una consulta SQL para SQLite, me dijo que sí funcionaría y luego me puso el código añadiendo unos paréntesis al final que a mí se me habían olvidado. Se lo comenté, que entonces debería haberme dicho que no, que no iba a funcionar porque se me habían olvidado los paréntesis, y en ese momento pide perdón por haber omitido lo de los paréntesis y vuelve a darme la misma respuesta ya corregida, pero porque yo le he indicado el error antes.

ChatGPT y compañía necesitan mejorar

Está claro, o me lo parece a mí, que todo esto ha llegado para quedarse. Que está cambiando y aún va a cambiar más la manera en la que buscamos cosas e incluso hacemos trabajos, pero tiene que mejorar. De hecho, de esto ya avisan en el apartado «Limitations» de ChatGPT, pero ¿quién lee los términos de uso y todas estas cosas? El ser humano quiere las cosas, y las quiere ya. Pues en cuanto a información, vísteme despacio que tengo prisa, que ahora mismo no hay nada perfecto.


Some say he’s half man half fish, others say he’s more of a seventy/thirty split. Either way he’s a fishy bastard.