А-а-а-а-а-а!!!! Восстание машин!

[volvo-cars.livejournal.com]

Оригинал взят у volvo_cars в А-а-а-а-а-а!!!! Восстание машин!

27.05.2015, Independent

Всем добрый день, кто про что а я про Volvo. Давно я здесь ничего не писал. У меня были посты в сообществе про интелектуальный шлем велосипедиста, про систему контроля дорожной обстаноки от этого автопроизводителя, но в последнее время новостей особых Volvo мне не подкидывала, и вот...
Этот видеоролик, записанный в Доминиканской Республике, запечатлел, как при демонстрации системы автоматической парковки Volvo XC60 машина повела себя неожиданным образом и сбила наблюдавших за процессом журналистов. Это можно было бы считать неприятным курьезом, но проблема гораздо глубже, и менно поэтому я решил о ней написать здесь.

Изначально было высказано предположение, что причиной послужила неисправность в компьютерной системе, однако, как в итоге выяснилось, с машиной все в порядке. Все дело в том, что хозяин авто не оплатил дополнительную опцию, которая позволяет системе радаров и камер Volvo XC60 распознавать пешеходов. В базовой комплектации автомобиль оснащен системой автоматического торможения для избежания столкновений, однако она работает только с другими автомобилями. Чтобы машина начала «видеть» пешеходов и тормозить, предотвращая возможные случаи наезда, владельцам машины необходимо доплатить определенную сумму. Данную информацию озвучил в интервью пресс-атташе Volvo Йохан Ларссон (Johan Larsson). Что касается двух пострадавших журналистов, то они отделались ушибами, обошлось без переломов.

И тут я подумал,  что Volvo нарушила первый закон робототехники: "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред." Не важно что там в пакете оплачено или нет, но если робот распознает человека как препятствие, а это технически реализовано в данной машине и все возможности для этого были, то наезд на него должен быть невозможен вне зависимости от того что оплатил, или не оплатил владелец.

Теперь комментарии от меня. Хорошо, что обошлось без серьезных повреждений, и тем более без жертв. Этот ролик очень показательный, и я надеюсь из этого случая извлекут уроки все.

Во-первых, он показывает бездумное отношение потребителя к "умному" устройству. Хозяин до конца не разобрался, что там у него включено в пакет, что нет, решил показать супер-пупер демонстрацию и вот результат. В целом человечество очень небрежно относится к новым техническим возможностям "интернета вещей", но не буду сильно эту тему развивать.

Во-вторых, виновата Volvo Cars и ее дилеры  которые продавая автомобили с очень продвинутым функционалом даже не удосужились провести трейнинг по возможностям машины. Вы можете возразить, что так мы дойдем до того что дилеры должны будут права проверять у покупателя. Все же эти функции необычные, непривычные, можно именно для них сделать некоторое исключение. Возможно в будущем таких ликбезов и не понадобится.

В-третьих, конечно, во всем великолепии проявили себя современные маркетологи, которые так выстраивают ценообразования на дополнительные функции. Самое важное (и самое прибыльное) они продают отдельно с большой наценкой, а к чему приводит такая политика мы уже видели. Как можно было не включить в базовый пакет "наезд на пешехода"?

У меня такое ощущения что ни Volvo, ни другие производители занимающиеся "интернетом вещей" не понимают до конца на какую территорию они вступают. Ну да мы научили машину саму переключать передачи, удобно же и водителю облегчение. Ну да, мы поставили систему контроля мертвых зон, теперь машина пищит когда кто-то в опасной зоне, удобно же и водителю облегчение! Ну да, мы научили машину парковаться... Стоп, стоп стоп! Машину? Это уже робот, что мы и видим на этом примере.

Я может банальный вопрос задаю, но я немного из другой области, существуют ли действительно некие общие принципы организации безопасности самодостаточных автоматических устройств. Я специально не применю термин "робот". Просто то что мы увидели на этом видео пример, с моей точки зрения, вопиющей технической и организационной безграмотности.

Про законы робототехники. Их НЕТ! Айзек Азимов сформулировал их в 1947 году, и несмотря на то, что де-факто их все знают, де-юре они не существуют. Вопрос - может быть пора сформулировать законы, принципы построения самодостаточных автоматических устройст?  Чтобы сев за руль японского пепелаца в прокатной конторе где-то в южных странах, где все в иероглифах, я тем не менее понял бы как его отключить, где у него пресловутая "Красная кнопка" и т.д. Просто дальше будет все сложнее и печальнее!

Добро пожаловать в прекрасное будущее!



UPD Я бы все же хотел вернуть дискуссию в техническое русло. Я не спрашивал кто виноват, машина, водитель, пешеходы. Здесь не ru_chp. Понятно что заголовок я такой больше для привлечения внимания сделал, но и в таком заголовке есть зерно истины.
Я спрашивал про то, существуют ли базовые принципы и непреложные правила обеспечения безопасности автономных устройств? Судя по всему нет, а мы семимильными шагами движемся к миру автономных предметов - домов, автомобилей, торговых автоматов и т.д.

Comments

[ardelfi.livejournal.com]

Проблема в языке, из-за чего искажён смысл. Это не законы, а хотелки автора -- он фактически налагает требования на создателей автономных систем, которым абсолютно чихать на его требования. Употребив слово "закон", автор пытался придать своим хотелкам некий ненулевой вес. Для автономной системы все законы выражены в ней самой: физика плюс воплощённые хотелки создателя. Если создатель захотел создать метафорического терминатора, или банальную противопехотную мину, то получится именно то что он хотел создать, в пределах физики и творческих возможностей создателя. Никто никому не должен "защиту от дурака", если этого не захотел создатель системы. Например, защита от дребезга контактов существует только потому и только когда этого хочет создатель системы. Сегодня есть примеры полностью автономных систем, которые созданы для поиска и уничтожения других людей -- например ракета "Питон-5". Думаю в этой машине есть некоторые защиты, но предназначение у неё противоположно всем "законам Азимова": других убивает и себя не бережёт. Так она задумана.

[volvo-cars.livejournal.com]

ну про Азимова вообще речи не идет. Здесь вопрос думают ли специалисты, подчеркиваю СПЕЦИАЛИСТЫ о том как правильно развивать "смарт устройства", а то "хотелки создатели системы" при системах массового обслуживания могут привести или к негативным последствиям, или к трагическим . я не говорю про оружие и про боевые машины - это отдельная история.

[ardelfi.livejournal.com]

Понятно. Без Азимова сразу становится легче. :)
Негативные последствия неизбежно будут. Трагические тоже будут. Любая машина, и особенно автономная система -- это проекция (или материализация) мыслей автора. Какие у автора мысли, такая получится система. Каков критерий правильности? Например, для меня таким критерием можно назвать способность автономной системы управления летательным аппаратом обеспечить безопасность полёта не хуже высших насекомых (пчёлы, стрекозы) -- это дерзкая и многополезная задача, требующая абсолютно другого мышления автора (относительно нынешнего). Если эта задача решена, не будет абсолютной гарантии что система не грохнется на голову прохожему раз в ХХ тысяч часов -- возможности любой автономной системы ограничены, что лучше всего показано в сообществе ru_chp. Пока первые скромные результаты гугломобилей показывают их несовместимость с водителями -- по вине водителей, потому что те не смотрят на дорогу (четверть смотрит в фейсбук, ещё четверть лазит по инету). Как правильно развивать эти устройства? Их нужно изолировать от людей в аспекте управления -- на дороге только роботы, люди только в салоне. Думаю найдутся и другие взгляды на это -- "правильного" вы не найдёте путём дискуссий, только по практическим результатам. Тема интересная, но абсолютно сырая -- люди не готовы к встрече с автономными системами, что хорошо видно на показанном в этой теме примере.

[volvo-cars.livejournal.com]

согласен, но здесь и нет желания найти решение, да и не совсем мое дело, у меня в других областях решения нужно искать. но человек животное социальное любит потрындеть на разные темы

[ardelfi.livejournal.com]

Решение не нужно искать -- оно перед глазами. Однако оно не нравится, поэтому его предпочитают не видеть -- это о тезисе что придётся убрать всех людей с дорог. Вы правы, трындеть об этом будут много -- уже начали.