А-а-а-а-а-а!!!! Восстание машин!

[volvo-cars.livejournal.com]

Оригинал взят у volvo_cars в А-а-а-а-а-а!!!! Восстание машин!

27.05.2015, Independent

Всем добрый день, кто про что а я про Volvo. Давно я здесь ничего не писал. У меня были посты в сообществе про интелектуальный шлем велосипедиста, про систему контроля дорожной обстаноки от этого автопроизводителя, но в последнее время новостей особых Volvo мне не подкидывала, и вот...
Этот видеоролик, записанный в Доминиканской Республике, запечатлел, как при демонстрации системы автоматической парковки Volvo XC60 машина повела себя неожиданным образом и сбила наблюдавших за процессом журналистов. Это можно было бы считать неприятным курьезом, но проблема гораздо глубже, и менно поэтому я решил о ней написать здесь.

Изначально было высказано предположение, что причиной послужила неисправность в компьютерной системе, однако, как в итоге выяснилось, с машиной все в порядке. Все дело в том, что хозяин авто не оплатил дополнительную опцию, которая позволяет системе радаров и камер Volvo XC60 распознавать пешеходов. В базовой комплектации автомобиль оснащен системой автоматического торможения для избежания столкновений, однако она работает только с другими автомобилями. Чтобы машина начала «видеть» пешеходов и тормозить, предотвращая возможные случаи наезда, владельцам машины необходимо доплатить определенную сумму. Данную информацию озвучил в интервью пресс-атташе Volvo Йохан Ларссон (Johan Larsson). Что касается двух пострадавших журналистов, то они отделались ушибами, обошлось без переломов.

И тут я подумал,  что Volvo нарушила первый закон робототехники: "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред." Не важно что там в пакете оплачено или нет, но если робот распознает человека как препятствие, а это технически реализовано в данной машине и все возможности для этого были, то наезд на него должен быть невозможен вне зависимости от того что оплатил, или не оплатил владелец.

Теперь комментарии от меня. Хорошо, что обошлось без серьезных повреждений, и тем более без жертв. Этот ролик очень показательный, и я надеюсь из этого случая извлекут уроки все.

Во-первых, он показывает бездумное отношение потребителя к "умному" устройству. Хозяин до конца не разобрался, что там у него включено в пакет, что нет, решил показать супер-пупер демонстрацию и вот результат. В целом человечество очень небрежно относится к новым техническим возможностям "интернета вещей", но не буду сильно эту тему развивать.

Во-вторых, виновата Volvo Cars и ее дилеры  которые продавая автомобили с очень продвинутым функционалом даже не удосужились провести трейнинг по возможностям машины. Вы можете возразить, что так мы дойдем до того что дилеры должны будут права проверять у покупателя. Все же эти функции необычные, непривычные, можно именно для них сделать некоторое исключение. Возможно в будущем таких ликбезов и не понадобится.

В-третьих, конечно, во всем великолепии проявили себя современные маркетологи, которые так выстраивают ценообразования на дополнительные функции. Самое важное (и самое прибыльное) они продают отдельно с большой наценкой, а к чему приводит такая политика мы уже видели. Как можно было не включить в базовый пакет "наезд на пешехода"?

У меня такое ощущения что ни Volvo, ни другие производители занимающиеся "интернетом вещей" не понимают до конца на какую территорию они вступают. Ну да мы научили машину саму переключать передачи, удобно же и водителю облегчение. Ну да, мы поставили систему контроля мертвых зон, теперь машина пищит когда кто-то в опасной зоне, удобно же и водителю облегчение! Ну да, мы научили машину парковаться... Стоп, стоп стоп! Машину? Это уже робот, что мы и видим на этом примере.

Я может банальный вопрос задаю, но я немного из другой области, существуют ли действительно некие общие принципы организации безопасности самодостаточных автоматических устройств. Я специально не применю термин "робот". Просто то что мы увидели на этом видео пример, с моей точки зрения, вопиющей технической и организационной безграмотности.

Про законы робототехники. Их НЕТ! Айзек Азимов сформулировал их в 1947 году, и несмотря на то, что де-факто их все знают, де-юре они не существуют. Вопрос - может быть пора сформулировать законы, принципы построения самодостаточных автоматических устройст?  Чтобы сев за руль японского пепелаца в прокатной конторе где-то в южных странах, где все в иероглифах, я тем не менее понял бы как его отключить, где у него пресловутая "Красная кнопка" и т.д. Просто дальше будет все сложнее и печальнее!

Добро пожаловать в прекрасное будущее!



UPD Я бы все же хотел вернуть дискуссию в техническое русло. Я не спрашивал кто виноват, машина, водитель, пешеходы. Здесь не ru_chp. Понятно что заголовок я такой больше для привлечения внимания сделал, но и в таком заголовке есть зерно истины.
Я спрашивал про то, существуют ли базовые принципы и непреложные правила обеспечения безопасности автономных устройств? Судя по всему нет, а мы семимильными шагами движемся к миру автономных предметов - домов, автомобилей, торговых автоматов и т.д.

Comments

[ardelfi.livejournal.com]

На самом деле законы робототехники -- выдумка писателя-фантаста. Они есть и всегда останутся фантастикой. В реальности же следует читать руководство по эксплуатации.

> существуют ли действительно некие общие принципы организации безопасности самодостаточных автоматических устройств

Нет. Только не совсем удачный, но уже нужный предупреждающий знак. :)

[volvo-cars.livejournal.com]

это понятно, что законы выдумка, но в них есть здравое зерно. а просто наклеить знак маловато будет, Здесь должна быть защита от дурака, защита от хакера, защита от случайностей типа дребезга контактов и паразитных наводок.

[ahitech.livejournal.com]

Единственная защита от дурака, которая может быть в автономной системе, — тотальный запрет на продажи.

[ardelfi.livejournal.com]

Проблема в языке, из-за чего искажён смысл. Это не законы, а хотелки автора -- он фактически налагает требования на создателей автономных систем, которым абсолютно чихать на его требования. Употребив слово "закон", автор пытался придать своим хотелкам некий ненулевой вес. Для автономной системы все законы выражены в ней самой: физика плюс воплощённые хотелки создателя. Если создатель захотел создать метафорического терминатора, или банальную противопехотную мину, то получится именно то что он хотел создать, в пределах физики и творческих возможностей создателя. Никто никому не должен "защиту от дурака", если этого не захотел создатель системы. Например, защита от дребезга контактов существует только потому и только когда этого хочет создатель системы. Сегодня есть примеры полностью автономных систем, которые созданы для поиска и уничтожения других людей -- например ракета "Питон-5". Думаю в этой машине есть некоторые защиты, но предназначение у неё противоположно всем "законам Азимова": других убивает и себя не бережёт. Так она задумана.

[volvo-cars.livejournal.com]

ну про Азимова вообще речи не идет. Здесь вопрос думают ли специалисты, подчеркиваю СПЕЦИАЛИСТЫ о том как правильно развивать "смарт устройства", а то "хотелки создатели системы" при системах массового обслуживания могут привести или к негативным последствиям, или к трагическим . я не говорю про оружие и про боевые машины - это отдельная история.

[ardelfi.livejournal.com]

Понятно. Без Азимова сразу становится легче. :)
Негативные последствия неизбежно будут. Трагические тоже будут. Любая машина, и особенно автономная система -- это проекция (или материализация) мыслей автора. Какие у автора мысли, такая получится система. Каков критерий правильности? Например, для меня таким критерием можно назвать способность автономной системы управления летательным аппаратом обеспечить безопасность полёта не хуже высших насекомых (пчёлы, стрекозы) -- это дерзкая и многополезная задача, требующая абсолютно другого мышления автора (относительно нынешнего). Если эта задача решена, не будет абсолютной гарантии что система не грохнется на голову прохожему раз в ХХ тысяч часов -- возможности любой автономной системы ограничены, что лучше всего показано в сообществе ru_chp. Пока первые скромные результаты гугломобилей показывают их несовместимость с водителями -- по вине водителей, потому что те не смотрят на дорогу (четверть смотрит в фейсбук, ещё четверть лазит по инету). Как правильно развивать эти устройства? Их нужно изолировать от людей в аспекте управления -- на дороге только роботы, люди только в салоне. Думаю найдутся и другие взгляды на это -- "правильного" вы не найдёте путём дискуссий, только по практическим результатам. Тема интересная, но абсолютно сырая -- люди не готовы к встрече с автономными системами, что хорошо видно на показанном в этой теме примере.

[volvo-cars.livejournal.com]

согласен, но здесь и нет желания найти решение, да и не совсем мое дело, у меня в других областях решения нужно искать. но человек животное социальное любит потрындеть на разные темы

[ardelfi.livejournal.com]

Решение не нужно искать -- оно перед глазами. Однако оно не нравится, поэтому его предпочитают не видеть -- это о тезисе что придётся убрать всех людей с дорог. Вы правы, трындеть об этом будут много -- уже начали.

[makz-z-z.livejournal.com]

летательные аппараты тяжелее воздуха, бронетехника, лазеры тоже раньше были выдумками фантастом, а теперь уже это объективная реальность. Эти законы просты и верны, так что их стоит придерживаться.

[ahitech.livejournal.com]

Сам же Азимов дал несколько способов обойти эти законы:

"Нулевой закон робототехники": "Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред". Он приоритетнее первого закона, поэтому разрешает причинение вреда человеку, если это действие выполняется ради блага всего человечества.

Жители планеты Солярия стали создавать роботов, подчинявшихся Трём Законам, но имевших другое понимание слова «человек». Роботы на этой планете были обучены тому, что «человек» — это только тот, кто говорит с солярианским акцентом. Роботы свободно могли причинить вред чужаку, они даже специально были на это запрограммированы.

[fau74.livejournal.com]

Эти законы являются благорастворением воздусей. Поскольку их реализуемость на данном этапе проходит по разряду той же фантастики.

Желающему оспорить предложу подиктовать в распознавалку речи хотя бы с полчасика и оценить процент ошибок. А потом осознать, что распознавание визуальных образов - задача существенно более сложная. И если машина в автоматическом режиме будет давить только 10 человек из сотни - для задавленных будет весьма слабым объяснением, что они явились ошибкой эксперимента и входят в допустимый процент потерь.

[izvne.livejournal.com]

делать такие допущения, чтобы уж наверняка. граница на пороге 100% распознавания, а всё дальше по умолчанию. чуть похоже на речь - считать человеческой речью

[fau74.livejournal.com]

Видите ли, у этой задачи две стороны. Если машина будет считать человеком все, что хоть чуть-чуть на человека похоже - на такой машине нельзя будет ездить быстрее 30-40 кмч. Потому что даже на 60 аварийное торможение в пол посреди потока - это крайне неприятно, а на 120 - вообще пофиг, был ли там пешеход, патологоанатом разберется где чьё мясо. А торможений таких будет немало - на рекламные щиты, на блики по камерам, на форму облаков, на солдата в кузове впереди идущего грузовика, на случайную тень на асфальте, на придорожного продавца с рекламной куклой...

Кто занимается распознаванием образов, те знают, что уровни порога распознавания - всегда компромисс между "минимум неопознанных" и "минимум ложных тревог". 100% не бывает, увы.

[izvne.livejournal.com]

ну я к тому и написал, что ваш пост был не большим сотрясанием воздуха, чем мой. проводить эксперименты, получать результаты, перепроверять, сертифицироваться, развивать направление. а какие еще варианты?

[fau74.livejournal.com]

Мы тут по-любому только сотрясаем воздух (или вы - программист из вольво, пишущий данную систему?). Но прежде чем проводить эксперименты, нужно понимать, что мы хотим получить на выходе и что в этой области уже сделано до нас. Эксперименты - это не просто тыкание в систему палочкой, они на что-то опираться должны. И если существующие матмодели показывают невозможность 100% распознавания человеческой фигуры при 0% принятий за нее иных объектов - то прежде чем что-то куда-то экспериментировать, нужно построить новую теорию, на которой уже строить эксперименты. Причем творения Айзека Азимова, при всем моем уважении к этому автору, на теорию робототехники не тянут от слова "совсем".