Американські вчені провели масштабний експеримент, щоб перевірити, наскільки точно сучасні системи штучного інтелекту здатні оцінювати наукові твердження. Для цього ChatGPT запропонували проаналізувати понад 700 гіпотез із реальних наукових досліджень і визначити, чи є вони правдивими, чи хибними.

На перший погляд результати виглядали оптимістично: у 2024 році точність відповідей становила 76,5%, а у 2025-му — вже 80%. Однак після врахування фактора випадкового вгадування реальна ефективність системи знизилася приблизно до 60%.

Особливо слабким місцем ШІ виявилася здатність розпізнавати неправдиві твердження — тут правильні відповіді становили лише 16,4%. Крім того, експерти зафіксували непослідовність відповідей: навіть при повторних запитаннях система може давати різні результати, що ставить під сумнів її надійність у завданнях, де потрібна стабільність і точність.

Дослідники наголошують, що сучасні моделі штучного інтелекту не “розуміють” інформацію в людському сенсі. Вони працюють на основі статистичних закономірностей і великих масивів даних, а не справжнього логічного мислення. Через це відповіді ШІ можуть звучати переконливо, але бути помилковими.

На думку авторів дослідження, створення системи штучного інтелекту, здатної до повноцінного логічного мислення, може зайняти значно більше часу, ніж очікувалося. Вчені радять користувачам ставитися до результатів ШІ критично та перевіряти інформацію, особливо у науці, медицині та інших важливих сферах.