http://volvo-cars.livejournal.com/ ([identity profile] volvo-cars.livejournal.com) wrote in [community profile] engineering_ru2015-05-28 01:43 pm

А-а-а-а-а-а!!!! Восстание машин!

Оригинал взят у [livejournal.com profile] volvo_cars в А-а-а-а-а-а!!!! Восстание машин!
27.05.2015, Independent

Всем добрый день, кто про что а я про Volvo. Давно я здесь ничего не писал. У меня были посты в сообществе про интелектуальный шлем велосипедиста, про систему контроля дорожной обстаноки от этого автопроизводителя, но в последнее время новостей особых Volvo мне не подкидывала, и вот...
Этот видеоролик, записанный в Доминиканской Республике, запечатлел, как при демонстрации системы автоматической парковки Volvo XC60 машина повела себя неожиданным образом и сбила наблюдавших за процессом журналистов. Это можно было бы считать неприятным курьезом, но проблема гораздо глубже, и менно поэтому я решил о ней написать здесь.



Изначально было высказано предположение, что причиной послужила неисправность в компьютерной системе, однако, как в итоге выяснилось, с машиной все в порядке. Все дело в том, что хозяин авто не оплатил дополнительную опцию, которая позволяет системе радаров и камер Volvo XC60 распознавать пешеходов. В базовой комплектации автомобиль оснащен системой автоматического торможения для избежания столкновений, однако она работает только с другими автомобилями. Чтобы машина начала «видеть» пешеходов и тормозить, предотвращая возможные случаи наезда, владельцам машины необходимо доплатить определенную сумму. Данную информацию озвучил в интервью пресс-атташе Volvo Йохан Ларссон (Johan Larsson). Что касается двух пострадавших журналистов, то они отделались ушибами, обошлось без переломов.

И тут я подумал,  что Volvo нарушила первый закон робототехники: "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред." Не важно что там в пакете оплачено или нет, но если робот распознает человека как препятствие, а это технически реализовано в данной машине и все возможности для этого были, то наезд на него должен быть невозможен вне зависимости от того что оплатил, или не оплатил владелец.

Теперь комментарии от меня. Хорошо, что обошлось без серьезных повреждений, и тем более без жертв. Этот ролик очень показательный, и я надеюсь из этого случая извлекут уроки все.

Во-первых, он показывает бездумное отношение потребителя к "умному" устройству. Хозяин до конца не разобрался, что там у него включено в пакет, что нет, решил показать супер-пупер демонстрацию и вот результат. В целом человечество очень небрежно относится к новым техническим возможностям "интернета вещей", но не буду сильно эту тему развивать.

Во-вторых, виновата Volvo Cars и ее дилеры  которые продавая автомобили с очень продвинутым функционалом даже не удосужились провести трейнинг по возможностям машины. Вы можете возразить, что так мы дойдем до того что дилеры должны будут права проверять у покупателя. Все же эти функции необычные, непривычные, можно именно для них сделать некоторое исключение. Возможно в будущем таких ликбезов и не понадобится.

В-третьих, конечно, во всем великолепии проявили себя современные маркетологи, которые так выстраивают ценообразования на дополнительные функции. Самое важное (и самое прибыльное) они продают отдельно с большой наценкой, а к чему приводит такая политика мы уже видели. Как можно было не включить в базовый пакет "наезд на пешехода"?

У меня такое ощущения что ни Volvo, ни другие производители занимающиеся "интернетом вещей" не понимают до конца на какую территорию они вступают. Ну да мы научили машину саму переключать передачи, удобно же и водителю облегчение. Ну да, мы поставили систему контроля мертвых зон, теперь машина пищит когда кто-то в опасной зоне, удобно же и водителю облегчение! Ну да, мы научили машину парковаться... Стоп, стоп стоп! Машину? Это уже робот, что мы и видим на этом примере.

Я может банальный вопрос задаю, но я немного из другой области, существуют ли действительно некие общие принципы организации безопасности самодостаточных автоматических устройств. Я специально не применю термин "робот". Просто то что мы увидели на этом видео пример, с моей точки зрения, вопиющей технической и организационной безграмотности.

Про законы робототехники. Их НЕТ! Айзек Азимов сформулировал их в 1947 году, и несмотря на то, что де-факто их все знают, де-юре они не существуют. Вопрос - может быть пора сформулировать законы, принципы построения самодостаточных автоматических устройст?  Чтобы сев за руль японского пепелаца в прокатной конторе где-то в южных странах, где все в иероглифах, я тем не менее понял бы как его отключить, где у него пресловутая "Красная кнопка" и т.д. Просто дальше будет все сложнее и печальнее!

Добро пожаловать в прекрасное будущее!



UPD Я бы все же хотел вернуть дискуссию в техническое русло. Я не спрашивал кто виноват, машина, водитель, пешеходы. Здесь не ru_chp. Понятно что заголовок я такой больше для привлечения внимания сделал, но и в таком заголовке есть зерно истины.
Я спрашивал про то, существуют ли базовые принципы и непреложные правила обеспечения безопасности автономных устройств? Судя по всему нет, а мы семимильными шагами движемся к миру автономных предметов - домов, автомобилей, торговых автоматов и т.д.

[identity profile] ardelfi.livejournal.com 2015-05-28 11:24 am (UTC)(link)
На самом деле законы робототехники -- выдумка писателя-фантаста. Они есть и всегда останутся фантастикой. В реальности же следует читать руководство по эксплуатации.

> существуют ли действительно некие общие принципы организации безопасности самодостаточных автоматических устройств

Нет. Только не совсем удачный, но уже нужный предупреждающий знак. :)
Image
Edited 2015-05-28 11:28 (UTC)

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-28 12:33 (UTC) - Expand

(no subject)

[identity profile] ardelfi.livejournal.com - 2015-05-28 14:27 (UTC) - Expand

(no subject)

[identity profile] ardelfi.livejournal.com - 2015-05-28 15:40 (UTC) - Expand

(no subject)

[identity profile] ardelfi.livejournal.com - 2015-05-28 17:09 (UTC) - Expand

(no subject)

[identity profile] makz-z-z.livejournal.com - 2015-05-28 12:26 (UTC) - Expand

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-28 12:32 (UTC) - Expand

(no subject)

[identity profile] fau74.livejournal.com - 2015-05-28 12:43 (UTC) - Expand

(no subject)

[identity profile] izvne.livejournal.com - 2015-05-28 12:58 (UTC) - Expand

(no subject)

[identity profile] fau74.livejournal.com - 2015-05-28 13:09 (UTC) - Expand

(no subject)

[identity profile] izvne.livejournal.com - 2015-05-28 13:12 (UTC) - Expand

(no subject)

[identity profile] fau74.livejournal.com - 2015-05-28 13:33 (UTC) - Expand

[identity profile] ai-see.livejournal.com 2015-05-28 11:31 am (UTC)(link)
Устройство должно подчиняться законам робототехники с того момента как оно будучи запущено и введено в автоматический режим, может причинить вред человеку. Т.е. в данном инциденте виновата компания, выпустившая данную машину. Альтернативой этому принципу может быть обязательная сертификация оператора. В таком случае был бы виноват человек, который перевёл машину в опасный режим, не убедившись в её безопасности для окружающих.

[identity profile] ggair.livejournal.com 2015-05-28 11:38 am (UTC)(link)
> Устройство должно подчиняться законам робототехники
Устройство не должно подчиняться законам робототехники. Просто потому что эти законы - не более чем фантазия.

(no subject)

[identity profile] ai-see.livejournal.com - 2015-05-28 11:41 (UTC) - Expand

(no subject)

[identity profile] ggair.livejournal.com - 2015-05-28 12:14 (UTC) - Expand

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-28 12:29 (UTC) - Expand

(no subject)

[identity profile] izvne.livejournal.com - 2015-05-28 13:01 (UTC) - Expand

(no subject)

[identity profile] makz-z-z.livejournal.com - 2015-05-28 12:28 (UTC) - Expand

(no subject)

[identity profile] cremate-rus.livejournal.com - 2015-05-29 11:19 (UTC) - Expand

(no subject)

[identity profile] vspvsp.livejournal.com - 2015-06-07 15:18 (UTC) - Expand

(no subject)

[identity profile] vspvsp.livejournal.com - 2015-06-07 15:16 (UTC) - Expand

[identity profile] equidamoid.livejournal.com 2015-05-28 11:40 am (UTC)(link)
Добро пожаловать в увлекательный мир проприетарного ПО. Хочешь ту фичу, про которую просвистели все уши маркетологи -- покупай ExtraProUltimateExtendedPlusPlusFull версию за немалое бабло.

[identity profile] Александр Буховлов (from livejournal.com) 2015-05-28 12:05 pm (UTC)(link)
В увлекательном мире открытого ПО заявленная фича будет работать через задницу, либо не работать вообще. Зато бесплатно - "у кого руки прямые, сами код допишут как надо". Сразу вспоминаются гаражные умельцы, которые годами и десятилетиями, путём колхозного тюнинга безуспешно пытались превратить УАЗ в Гелендваген.

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-28 12:16 (UTC) - Expand

(no subject)

[identity profile] ospf-ripe.livejournal.com - 2015-06-01 14:17 (UTC) - Expand

(no subject)

[identity profile] vspvsp.livejournal.com - 2015-06-07 15:19 (UTC) - Expand

[identity profile] 4eka.livejournal.com 2015-05-28 11:54 am (UTC)(link)
Какой ужос от вольво! Как вообще можно выпустить устройство которое само рулит и перемещается, но при этом определяет НЕ ВСЕ препятствия.?

(no subject)

[identity profile] izvne.livejournal.com - 2015-05-28 13:02 (UTC) - Expand

(no subject)

[identity profile] 4eka.livejournal.com - 2015-05-28 14:42 (UTC) - Expand

[identity profile] Александр Буховлов (from livejournal.com) 2015-05-28 12:01 pm (UTC)(link)
Достаточно очевидно, что "интернет вещей" и возможность машины действовать без участия человека, делаются с одной единственной целью - возможности удалённого контроля компетентными органами. Чтобы автомобиль любой останавливался по нажатию кнопки, а каждая лампочка вела слежку.
Не надо бояться восстания машин. Надо опасаться тех, кто этими машинами реально владеет.

(no subject)

[identity profile] izvne.livejournal.com - 2015-05-28 13:03 (UTC) - Expand

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-28 12:26 (UTC) - Expand

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-28 13:28 (UTC) - Expand

(no subject)

[identity profile] meks65.livejournal.com - 2015-05-28 19:32 (UTC) - Expand

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-28 21:12 (UTC) - Expand

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-29 12:26 (UTC) - Expand

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-29 12:58 (UTC) - Expand

(no subject)

[identity profile] vspvsp.livejournal.com - 2015-06-07 15:21 (UTC) - Expand

(no subject)

[identity profile] izvne.livejournal.com - 2015-05-28 13:03 (UTC) - Expand

(no subject)

[identity profile] ahitech.livejournal.com - 2015-05-28 13:27 (UTC) - Expand

(no subject)

[identity profile] izvne.livejournal.com - 2015-05-28 15:35 (UTC) - Expand

(no subject)

[identity profile] izvne.livejournal.com - 2015-05-28 15:36 (UTC) - Expand

(no subject)

[identity profile] vspvsp.livejournal.com - 2015-06-07 15:22 (UTC) - Expand

[identity profile] truzhenik-sela.livejournal.com 2015-05-28 12:20 pm (UTC)(link)
Как только появляется что-то продвинутое или инновационное, сразу же откуда-то вылазит "возмущенная общественность" с желанием обязательно что-то регулировать, ограничивать и запрещать. Причем чем "общественность" дремучее, тем больше это желание.

[identity profile] izvne.livejournal.com 2015-05-28 01:05 pm (UTC)(link)
зажигайте факелы!

кстати это нормально. и общественность, и жертвы, и развитие. скорее всего даже в одних и тех же процентах во все времена

[identity profile] msmirnov.livejournal.com 2015-05-28 12:24 pm (UTC)(link)
"трейнинг"

========= из пулемета бы. Какие законы робототехники, куда уж...

по теме поста - у Volvo и с прошлой системой проблемы были. Любят сырье на рынок выставлять
Edited 2015-05-28 12:33 (UTC)

[identity profile] ahitech.livejournal.com 2015-05-28 12:25 pm (UTC)(link)
Я не вижу вины производителя. Только вину хозяина машины.

Обязан ли производитель встраивать защиту от наезда на пешехода? Ну-ка, покажите мне документ, который это регламентирует. В обычной машине защиты от наезда на пешехода нет никакой, там эта функция целиком в ответственности прокладки между рулём и педалями. Почему в машине, которая умеет парковаться автоматически, эта функция обязательно должна быть переложена на программу? Ах, потому что так будет логичнее… То есть оставлять на водителе часть обязанностей, которая всегда на нём была, — это, внезапно, нелогично?

Обязан ли покупатель знать, на что способна и на что неспособна его собственность? Безусловно, да. Всегда и везде от покупателя требуется досконально изучить контракт, прочитать все мелкие буквы и знать все тонкости приобретаемой системы. А если кто-то не читает технические характеристики приобретаемого товара, то он, абсолютно и безусловно, сам себе злобный буратин.

В общем, Volvo — молодцы, а хозяин этой тачки — редкостный долбак.

[identity profile] livejournal.livejournal.com 2015-05-28 12:36 pm (UTC)(link)
Здравствуйте! Ваша запись попала в топ-25 популярных записей LiveJournal северного региона (http://www.livejournal.com/?rating=ru_north). Подробнее о рейтинге читайте в Справке (https://www.dreamwidth.org/support/faqbrowse?faqid=303).

[identity profile] 22sobaki.livejournal.com 2015-05-28 12:36 pm (UTC)(link)
Насколько понимаю, система автоматической парковки тут вообще ни при чем.
Пишут, что машина то ли не была оснащена системой предотвращения столкновений с пешеходами, то ли эта система была выключена водителем. Но он решил ее продемонстрировать и газанул. Если так, то водитель сам дурак.
Edited 2015-05-28 12:37 (UTC)

[identity profile] fau74.livejournal.com 2015-05-28 12:52 pm (UTC)(link)
Наверняка эта система, если она там вообще была, встраивалась как дополнительная страховка - "если машина таки едет, а человек под колеса таки выскочил, то пусть будет дополнительный небольшой шанс что машина оттормозится".

Но потом пришли маркетологи и распиарили "автоматическая страховка от наезда на пешеходов!". А потом написанное маркетологами переврали журналисты. А потом статью в журнале "За рублем" пересказал своими словами дилер, которому надо было продать. И под конец всего этого прокладка между рулем и сиденьем на 146% уверена, что у него супертачка, которая сама людей не давит, прикинь, да!

(no subject)

[identity profile] fau74.livejournal.com - 2015-05-28 13:38 (UTC) - Expand

[identity profile] uspppeerm.livejournal.com 2015-05-28 12:41 pm (UTC)(link)
Ждём новый тэг в сообществе ручепе. А потом истеричные отмазы водил типа "ето не я, енто оно само!". И редкие вялые ответы ушлых производителей, показывающих договоры продажи, где юзверь роботизированного авто заранее подписывается под всеми возможными и невозможными грехами и ещё за всё остаётся должен, и вообще у них не может ничего работать неправильно. И толпы поклонников "новых удобных замечательных технологий". А потом, а потом... Ух, будет весело :) Уже скоро.

[identity profile] 185800.livejournal.com 2015-05-28 12:58 pm (UTC)(link)
Не надо давить тапку в пол при попытке припарковаться. Прокладка и сообразить не успела, как снесла пару журналистов.

[identity profile] izvne.livejournal.com 2015-05-28 01:06 pm (UTC)(link)
вообще интересно узнать, что машина должна была сделать. на парковку не очень похоже

очень мало данных для вердикта. может, она должна была убить ))

(no subject)

[identity profile] izvne.livejournal.com - 2015-05-28 13:16 (UTC) - Expand

[identity profile] 185800.livejournal.com 2015-05-28 01:12 pm (UTC)(link)
Во-вторых, виновата Volvo Cars и ее дилеры, которые, продавая автомобили с очень продвинутым функционалом, даже не удосужились провести трейнинг по возможностям машины.

Серьёзно? Они должны были? А для кого в отделении для перчаток (см. "бардачок") лежит толстая книжка-инструкция, скажите на милость, а?

[identity profile] belonogovalexey.livejournal.com 2015-05-28 01:14 pm (UTC)(link)
Виноват водитель. Неправильно это, намеренно пытаться совершить наезд на человека. Все равно, что из ружья в него стрельнуть, а потом предъявить производителю оружия "почему ружье само на предохранитель не встало, хотя вот он имеется".

[identity profile] roquefort-tln.livejournal.com 2015-05-28 01:15 pm (UTC)(link)
если честно то я не понял нихрена
1. куда они там собирались парковаться на системе автопарковки? я не вижу ни одного парковочного места - проходной коридор, ответвление вправо, куда-то вглубь
2. Есть там кто-то за рулем? И кто затормозил машину?


У меня едиственное предположение, что тестировали они не автопарковку а автоматическую тормозилку перед препятствием, водила (в темной одежде не виден) сам отъехал назад, дал газу,ломанулся давить понарошку друзей и с удивлением обнаружил, что на них тормозилка не реагирует, сам почти затормозил (за полтора метра до кегли машина таки клюет носом). Ну то есть типичный сказочный долбоклюй, не соблюдающий правило не направлять оружие на людей даже незаряженное.

[identity profile] 4eka.livejournal.com 2015-05-28 03:15 pm (UTC)(link)
Похоже на то как Вы описали. Может быть даже что система автостоп там есть, но она активируется в режиме "круиз контроль", или при еще каких нибудь условиях.

[identity profile] izvne.livejournal.com 2015-05-28 01:18 pm (UTC)(link)
не поверю, чтобы сделали отдельно определение авто, отдельно человека. отдельно заплатить за мотоциклиста, велосипедиста, роллера, собачку? очень много сомнений в правильности исходных данных. потому обсуждать особенно нечего

(no subject)

[identity profile] bobermai.livejournal.com - 2015-05-28 13:49 (UTC) - Expand

(no subject)

[identity profile] bobermai.livejournal.com - 2015-05-29 07:31 (UTC) - Expand

(no subject)

[identity profile] fau74.livejournal.com - 2015-05-28 13:57 (UTC) - Expand

(no subject)

[identity profile] fau74.livejournal.com - 2015-05-28 15:35 (UTC) - Expand

(no subject)

[identity profile] avotara.livejournal.com - 2015-05-29 05:08 (UTC) - Expand

(no subject)

[identity profile] sinclair-sc.livejournal.com - 2015-05-28 13:41 (UTC) - Expand

[identity profile] satansclaws.livejournal.com 2015-05-28 01:27 pm (UTC)(link)
Начнем с того, что машина, дооборудованная модулем торможения, не становится роботом.

[identity profile] Александр Буховлов (from livejournal.com) 2015-05-28 01:55 pm (UTC)(link)
Торможение автоматическое, на основе довольно сложных алгоритмов, плюс автоматический парковщик, т.е. оно ещё и рулём само крутит, и газует. Не Т-800, и даже не Вертер конечно, но почти Луноход.

[identity profile] avotara.livejournal.com 2015-05-28 01:58 pm (UTC)(link)
У меня такой вопрос: машина намерено сбила пешеходов? т.е. опознала что перед ней находятся люди и спецом сбила их? в назидание владельцу? Т.е. если-бы перед ней стояли бетонные столбы, она-б их тоже протаранила, или тут фишка именно сбить пешехода? (кармагеддон?)

[identity profile] dikem.livejournal.com 2015-05-28 02:39 pm (UTC)(link)
Первый закон Азимова это перелицованная декларация библейской "свободы воли". Если бы была реальная возможность его имплементации то роботам пришлось бы давать человеческие права.

[identity profile] alaft.livejournal.com 2015-05-28 03:38 pm (UTC)(link)
"Робот не может причинить вред человеку..."

Робот не может, если программист или настройщик не захочет))

[identity profile] koshovske.livejournal.com 2015-05-28 04:36 pm (UTC)(link)
меня недавно посещала мысль, что уже недолго осталось до того момента, как во всех новостных лентах появится новость о том, что "умный дом" убил хозяина или что-то в этом роде.
Мехатроника/Кибернетика/Робототехника - очень полезная наука, но до сих пор она была почти недоступна широкому кругу неподготовленных людей. Прогресс не остановить, но это может стать памятным моментом. Может быть это будет подобно случаю с первым человеком, сбитым трамваем , а может катастрофой подобной случившейся в Хиросиме и Нагасаки.

[identity profile] alex-ak.livejournal.com 2015-05-28 07:30 pm (UTC)(link)
Так промышленные роботы уже хватали людей на производстве. Были случаи и с летальным исходом. И потом, этот эпический случай с роботизированной зенитной пушкой "Эрликон", которая перестреляла свой расчет. Они уже идут!

[identity profile] tr1gger.livejournal.com 2015-05-29 04:25 am (UTC)(link)
Тут всё дело в страховке. Если бы покупатель оплатил опцию, а она в нужный момент не сработала (всегда есть ошибки), то засудили бы Вольво. А так -- водитель виноват. То есть оплачивая эту дополнительную опцию, водитель скорее оплачивает свою более прочную позицию в суде, если он на самом деле собьёт пешехода.

[identity profile] mitgor.livejournal.com 2015-05-29 09:05 am (UTC)(link)
вообще-то вся заметка уже признана фейком. автомобиль не был оборудован ни одной из систем.
https://meduza.io/shapito/2015/05/28/avtomobil-parkuetsya-v-lyudey-volvo-ob-yasnila-pochemu

[identity profile] cremate-rus.livejournal.com 2015-05-29 11:17 am (UTC)(link)
Эй, адепты трех законов, как вы их вшивать в робомозги будете?

У Азимова, насколько я помню, это все было устроено на уровне железа, еще при производстве позитронного мозга. Как подобное реализовывать собираетесь?

[identity profile] Александр Буховлов (from livejournal.com) 2015-05-29 01:38 pm (UTC)(link)
Также как data execution prevention в 86х64-системах, например.

(no subject)

[identity profile] kap-kap-kap.livejournal.com - 2015-05-30 11:01 (UTC) - Expand

Page 1 of 2