No entanto, muitos escritores e educadores questionaram a autenticidade da IA. Um deles é Christoper Pen, cofundador da TrustInsights.ai, que afirmou em uma postagem no LinkedIn que “ detectores de IA” são uma piada. Pen não é o único que pensa que os detectores de IA não são confiáveis. Dianna Mason, especialista em conteúdo de SEO, afirmou em uma postagem: “Os detectores de conteúdo de IA não funcionam”.
De acordo com outra postagem no Reddit, um usuário afirmou: “ Sim, os detectores de IA são uma farsa. Nunca houve um artigo acadêmico provando que um detector de IA pudesse funcionar de maneira confiável. Também não existe uma estrutura teórica promissora sobre como funcionaria um detector de IA confiável. “
Vários exemplos bem divulgados mostram a ineficiência dos detectores de IA. Por exemplo, um detector identificou dent 97,75% da Declaração de Independência dos EUA como composta por IA.
Em outro caso, descobriu-se que textos da Bíblia foram escritos por IA. O Bhagavad Gita, uma escritura hindu, também foi mal dent pela IA. Tais dent levantam questões muito sérias sobre a credibilidade dos detectores de IA.
Para investigar melhor a eficácia dos detectores de IA, testamos um trecho da Bíblia com quatro detectores diferentes. Os resultados foram bem diferentes
Os detectores de IA usam principalmente duas medidas, nomeadamente perplexidade e explosão. A perplexidade mede a probabilidade de a próxima palavra estar correta e a explosão é a variabilidade do número de palavras e frases. Embora a escrita humana tenda a exibir mais variedade, o texto gerado por IA costuma ser mais uniforme. Apesar disso, à medida que modelos de IA GPT-4 avançam, eles podem replicar a escrita humana com maior proficiência, tornando a detecção ainda mais difícil.
De acordo com Jodie Cook , fundadora da Coachvox, “ No momento, rimos dos comentários gerados por IA no LinkedIn…. Mas à medida que a tecnologia melhora, não teremos a menor ideia do que é real e do que não é real. Ninguém o fará. “
Para escritores, dent e empresas, os riscos são altos. Isso levanta a questão: os detectores de IA são confiáveis?