[БАРСИК]

Спрошу, просто не понимаю, без обид: вы сейчас прикалываетесь, язвите, стебетесь или вправду не знаете?

Я, правда, не знаю, в чём он перед вами провинился. Курск как-то далековато от Кирова, ваши местные новости до нас редко доходят.

[Фыва Цукен]

Очень надеемся

как вам?

[БАРСИК]

Только что узнал, что Старовойт застрелился.

[dken]

Видимо сидеть не захотел или боялся что лишнего сболтнуть

[Dmitriy_Alexeevich]

Только что узнал, что Старовойт застрелился.

Действительно, почему же это? Чем же это он так провинился? Просто так ни с того ни с сего решил блин

[v_gildenberg]

Только что узнал, что Старовойт застрелился.

Действительно, почему же это? Чем же это он так провинился? Просто так ни с того ни с сего решил блин

День был эмоционально тяжёлым. Выдохните.

Прочитайте очередную хуцпу про ИИ. На сей раз медицинскую ИИ от МелкоМягких.

А потом представьте педиатрическую ИИ и стоящую перед ней толпу кривляющихся пятилеток.


Текст - вот он

Вторую неделю медиа полны победных реляций про "медицинский сверхразум" в исполнении Microsoft, который якобы "в сложных диагностических случаях" дает результат в 85% против жалких 20% у докторов людей. "Искусственный интеллект превзошел человека!", "Скоро врачи станут не нужны!", “ИИ привносит в медицину радикальную революцию" и все как мы любим.

Что на самом деле?
1. Сценарий выглядел так: пять языковых моделей (GPT 4o, Сlaude Sonnet и аналоги) выступают в роли "агентов", каждый из которых играет определённую медицинскую роль: врач-первички, радиолог, терапевт, контролер качества и т.д. Они обмениваются сообщениями, задают друг другу вопросы, ищут в интернете, цитируют научные источники и в итоге формируют дифференциальный диагноз.

При этом реальные врачи, с которыми соревновались "агенты" были:
•  Ограничены по времени;
•  Без доступа к интернету, PubMed, справочникам;
•  Работали в одиночку.

ИИ — коллектив, объединённый нейросетевым мозгом с поисковиком и архивом на борту. Врач — один человек без доступа к открытой даже информации. То есть "открытие" в том, что ИИ с доступом в интернет более точен, чем человек без доступа в интернет. На сверхразум не очень тянет.

2. Все кейсы из знакомой панели. Все случаи для тестирования Microsoft взяла из журнала New England Journal of Medicine (NEJM)  — одного из самых престижных медицинских изданий в мире. Проблема в том, что статьи из этого журнала входят в стандартные обучающие панели, на которых тренировались все современные языковые модели, включая те, что использовал Microsoft.

Т.е., система не решала новые задачи — она вспоминала ответы на экзаменационные вопросы, которые видела во время подготовки. В машинном обучении это называется "data leakage" (утечка данных) и считается грубейшей методологической ошибкой, обесценивающей любой эксперимент.

3. Возникает интересный вопрос. Если ИИ тестировали на тех же данных, на которых он обучался, почему результат не 100%? Есть два объяснения, и оба не очень для Микрософт.

Первое — они намеренно занизили результат до "правдоподобных" 85%, потому что 100% выглядело бы слишком подозрительно даже для наивной публики. Это классический маркетинговый ход — добавить немного "человечности", реалистичности.

Второе объяснение еще хуже — их ИИ настолько плох, что даже при наличии ответов к экзамену не может их правильно воспроизвести. Классический "троечник", который даже зная ответы не может их повторить в полной мере.

История Microsoft — не исключение, а правило в мире медицинского ИИ.
Сразу вспоминает Epic Sepsis Model — алгоритм для раннего обнаружения внутрибольничного сепсиса, смертельно опасного осложнения многих видов терапий. В пресс-релизе система ставила сепсис в 87% правильно. Все были в восторге. Потом выяснилось, что система "предсказывает" сепсис в основном у тех пациентов, которых врачи уже начали лечить от сепсиса. Алгоритм просто анализировал назначения антибиотиков и "предупреждал" докторов о том, что они уже знали. Когда систему тестировали на данных до начала лечения, результат был ок. 50% - или есть сепсис, или нет.

В лабораторных условиях легко создать впечатляющие цифры, а в реальной клинической практике все оказывается намного сложнее. Поэтому, когда больницы пытались внедрить разрекламированные ИИ-системы, точность падала с обещанных 99% до 60-70% в лучшем случае.

А теперь лайфхак – как распознать вранье в ситуации с медицинским ИИ:
Тестирование на маленьких выборках (у Microsoft – 28 случаев)

Сравнение ИИ с изолированными врачами

Заявления о "сверхчеловеческой" точности

Отсутствие внешних подтверждающих исследований

Результаты только в пресс-релизах

ИИ — мощный инструмент. Но когда его демонстрируют как чудо, "забывая" рассказать про манипуляции с данными и условиями тестирования, мы имеем дело не с наукой, а с маркетингом.Пока что единственное, в чем ИИ точно превосходит врачей — это способность генерировать хайп и зарабатывать благодаря ему деньги владельцам алгоритмов.


https://t.me/glebsmith77/285

[v_gildenberg]

Поэтому мое дорогие! Не ведитесь на новости об ИИ. Помните, что если вы не в состоянии освоить сводные таблицы в эксель , не говоря про простейшие формулы - типа ВПР, ГПР, то вам ИИ точно не поможет . Берегите себя