¿Siguen siendo eficaces los detectores de IA?

se hizo más frecuente, los profesores y editores tuvieron que encontrar una forma alternativa de determinar si el texto que se les presentaba era IA o no. Esto llevó al surgimiento de los detectores de IA.

Sin embargo, muchos escritores y educadores han cuestionado la autenticidad de la IA. Uno de ellos es Christoper Pen, cofundador de TrustInsights.ai, quien afirmó en una publicación de LinkedIn que los “ detectores de IA” son una broma. Pen no es el único que piensa que los detectores de IA no son fiables. Dianna Mason, especialista en contenido SEO, afirmó en una publicación: "Los detectores de contenido de IA no funcionan".

Según otra publicación en Reddit, un usuario afirmó: “ Sí, los detectores de IA son una estafa. Nunca ha habido un artículo académico que demuestre que un detector de IA pueda funcionar de manera confiable. Tampoco existe un marco teórico prometedor sobre cómo funcionaría un detector de IA confiable. “

Varios ejemplos muy publicitados muestran la ineficiencia de los detectores de IA. Por ejemplo, un detector dent erróneamente el 97,75% de la Declaración de Independencia de Estados Unidos como compuesta por IA.

En otro caso, se descubrió que textos de la Biblia estaban escritos por IA. El Bhagavad Gita, una escritura hindú, también fue dent erróneamente por la IA. Estos dent plantean dudas muy serias sobre la credibilidad de los detectores de IA.

Para investigar más a fondo la eficacia de los detectores de IA, probamos un extracto de la Biblia con cuatro detectores diferentes. Los resultados fueron bastante diferentes.

• Quilbott: según este sitio, el extracto utilizado probablemente fue del 0% y no fue generado por IA.
• Grammaly- Grammaly también dent el texto como 100% escrito por humanos.
• Gpt Zero: este sitio le dio al texto un 96% de probabilidad de haber sido escrito por humanos.
• Zero Gpt: este fue el último sitio que probé y los resultados fueron bastante alucinantes; según el sitio, el texto estaba escrito en un 96% con IA.

Los detectores de IA utilizan principalmente dos medidas: perplejidad y ráfaga. La perplejidad mide la probabilidad de que la siguiente palabra sea correcta y la ráfaga es la variabilidad del número de palabras y frases. Si bien la escritura humana tiende a exhibir más variedad, el texto generado por IA suele ser más uniforme. A pesar de esto, a medida que avanzan los modelos de IA GPT-4, pueden replicar la escritura humana con mayor competencia, lo que dificulta aún más la detección.

Según Jodie Cook , fundadora de Coachvox, “ Ahora mismo nos reímos de los comentarios de LinkedIn generados por IA…. Pero a medida que la tecnología mejore, no tendremos ni idea de qué es real y qué no. Nadie lo hará. “

Para los escritores, los dent y las empresas, hay mucho en juego. Esto plantea la pregunta: ¿se puede confiar en los detectores de IA?