在5月初举行的电脑-人交互大会上，普渡大学研究小组提交了一份报告，深入检查了ChatGPT回答的517个Stack Overflow问题，惊人地发现其错误率竟然高达52%。这项研究对于依赖生成式人工智慧的程式设计师来说，无疑是一个重大的警示信号。

研究结果显示，人类程式设计师在35%的情况下更偏好ChatGPT的答案，认为其内容更全面且语言表达清晰。然而，令人担忧的是，在39%的情况下，这些程式设计师并没有意识到ChatGPT提供了错误的答案。

尽管这项研究仅检视了ChatGPT功能的一个方面，但它明确指出，生成式人工智慧机器人仍然容易出现大量错误，而这些错误可能无法被人类程式设计师发现。这项研究结果强调了在使用AI工具时，保持谨慎和批判性思维的重要性。