Smm room

Сейчас будет длинный, но интересный пост про ИИ. Когда нейросеть распознаёт образ, она не видит "образы" в привычном для нас смысле. Нейросеть - это черный ящик. Внутри него находятся несколько слоёв коэффициентов ("нейронов"), которые определенным образом меняются в зависимости от того, что подают на вход. Допустим, мы научили нейросеть распознавать лошадей, обучив её на нескольких миллионах фото. Если теперь подать на её вход любое изображение, нейросеть преобразует его в многослойный набор коэффициентов и сравнит с теми наборами, которые получались, когда ей показывали лошадей.

"Лошадь" или любой другой образ для нейросети - это не картинка, а набор чисел. И вот здесь начинается интересное. Потому что образ "страус" может преобразовываться внутри нейросети в очень похожий набор чисел. И если, зная это, совсем немного подправить изображение лошади (изменение будет даже незаметным для человека), то нейросеть будет с уверенностью "видеть" вместо лошади страуса. Или любой другой образ. Для этого даже не надо знать, как нейросеть устроена внутри - её можно обмануть не открывая "чёрный ящик", просто показывая картинки и записывая её реакцию.

Вот подробная статья в Popular Science с иллюстрациями, не поленитесь посмотреть. Вжух - и нейросеть видит вместо здания страуса, вместо панды - обезьяну, а вместо одних дорожных знаков - совсем другие. Кто и зачем всё это исследует - по ссылке.

http://www.popsci.com/byzantine-science-deceiving-artificial-intelligence Подобным атакам подвержены и системы распознавания речи. Учёные разработали специальные голосовые команды, которые для человеческого уха звучат как белый шум, но при этом голосовые ассистенты (вроде Siri или Google Now) их слышат и распознают. Встроив скрытую команду в выпуск радио, ТВ, или в Youtube-ролик, злоумышленнники могут направить людей на вредоносный сайт, украсть их личные данные или деньги. Это не фантастика: недавно в Техасе домашние устройства Alexa некоторых телезрителей отреагировали на голосовую команду, которую произнёс ведущий местной передачи. Правда, мой смартфон эти команды не распознал. Но на деморолике всё работает, посмотрите: http://www.hiddenvoicecommands.com/demo

Подробнее: https://www.theatlantic.com/technology/archive/2017/01/the-demon-voice-that-can-talk-to-your-smartphone/513743/

Посты по теме:

В чём проблема "чёрного ящика" ИИ и как её можно решить:

https://t.me/brodetsky/608, https://t.me/brodetsky/510 Как исследователи научились копировать алгоритмы машинного обучения из "черного ящика": https://t.me/brodetsky/565 Как работает перенос стиля с помощью нейросетей в приложениях вроде Prisma:

https://t.me/brodetsky/642