Насколько точен ваш ИИ? Новая методология оценки применимости искусственного интеллекта

В статье Брауна, опубликованной в «Молекулярной информатике», анализируется использование ИИ и анализируется характер статистики, используемой для сообщения о возможностях программы ИИ. Новый метод также генерирует вероятность уровня производительности с учетом данных оценки, отвечая на такие вопросы, как: Какова вероятность достижения точности более 90%?Сообщения о новых приложениях искусственного интеллекта появляются в новостях почти ежедневно, в том числе в обществе и науке, финансах, фармацевтике, медицине и безопасности.«Хотя представленные статистические данные кажутся впечатляющими, исследовательские группы и те, кто оценивает результаты, сталкиваются с двумя проблемами», — объясняет Браун. «Во-первых, чтобы понять, случайно ли ИИ добился своих результатов, а во-вторых, чтобы интерпретировать применимость из представленных статистических данных».

Например, если программа искусственного интеллекта построена так, чтобы предсказать, выиграет ли кто-то в лотерею или нет, она всегда может предсказать проигрыш. Программа может достичь «точности 99%», но интерпретация является ключом к определению точности заключения о том, что программа является точной.Но в этом и заключается проблема: при типичной разработке ИИ оценке можно доверять только в том случае, если имеется равное количество положительных и отрицательных результатов.

Если данные смещены в сторону любого значения, текущая система оценки преувеличивает возможности системы.Поэтому для решения этой проблемы Браун разработал новую технику, которая оценивает производительность только на основе самих входных данных.«Новизна этого метода в том, что он не зависит от какого-либо одного типа технологии искусственного интеллекта, такого как глубокое обучение», — описывает Браун. «Это может помочь в разработке новых показателей оценки, наблюдая за тем, как показатель взаимодействует с балансом в прогнозируемых данных.

Затем мы можем определить, могут ли полученные показатели быть смещенными».Браун надеется, что этот анализ не только повысит осведомленность о том, как мы думаем об ИИ в будущем, но и внесет вклад в разработку более надежных платформ ИИ.В дополнение к метрике точности Браун протестировал шесть других метрик как в теоретических, так и в прикладных сценариях, обнаружив, что ни одна метрика не является универсально лучше. Он говорит, что ключом к созданию полезных платформ искусственного интеллекта является многомерный взгляд на оценку.

«ИИ может помочь нам понять многие явления в мире, но для того, чтобы он правильно указывал нам направление, мы должны знать, как задавать правильные вопросы. Мы должны быть осторожны, чтобы не слишком сосредотачиваться на одном числе в качестве меры ИИ. надежность ".

Программа Брауна находится в свободном доступе для широкой публики, исследователей и разработчиков.


Портал обо всем