聊天机器人如ChatGPT蔚为时兴，但使用它们，只要时间够久，都会发现它们会大扯谎话，目前此一现象被称为妄想(hallucination)、虚谈(confabulation)，简而言之就是捏造；开发商声称正努力让自己的AI机器人更追求真实，但也有学者指出，这种AI科技与设想达成的目标，两者本质上就不搭界，无药可医。
美联社报道，一些企业、组织、高中生想动用生成式AI系统，来谱组文件交差。有些人使用生成式AI想完成的任务，可能有严重后果，例如心理疗法、研究论文及法律文件。
聊天机器人Claude2的创造人阿莫迪(Daniela Amodei)表示，他不相信今天有哪一款聊天机器人能没有妄想这个毛病，因为设计出来，就是想预测下一个字词，所以有些时候，这些正式名称叫“语文模型”(language model)的聊天机器人，就是做不精准。
Anthropic、ChatGPT的OpenAI等其他主要聊天机器人的开发商都表示，正致力于把自己的语文模型改得更务求真实。
但还要多久，语文模型才能开出医疗建议？有这个能力办到吗？都有待观察。
华盛顿大学“电算语言学实验室”(Computational Linguistics Laboratory)主任艾默莉‧班德(Emily Bender)表示，这个问题是解决不了的，科技与设想达成的目标，两者之间本质上就配对错误。
很多事情都取决于生成式AI的可靠程度。OpenAI的执行长阿特曼(Sam Altman)6月造访印度时，印度AI科学家巴格勒(Ganesh Bagler)问到AI妄想的问题，阿特曼只表示乐观，认为要花一年半或两年，问题就会改善多多，创造力与完全准确之间有所权衡，语文模型得先了解，你是要创造力还是完全精准。
