А-а-а-а-а-а!!!! Восстание машин!

[volvo-cars.livejournal.com]

Оригинал взят у volvo_cars в А-а-а-а-а-а!!!! Восстание машин!

27.05.2015, Independent

Всем добрый день, кто про что а я про Volvo. Давно я здесь ничего не писал. У меня были посты в сообществе про интелектуальный шлем велосипедиста, про систему контроля дорожной обстаноки от этого автопроизводителя, но в последнее время новостей особых Volvo мне не подкидывала, и вот...
Этот видеоролик, записанный в Доминиканской Республике, запечатлел, как при демонстрации системы автоматической парковки Volvo XC60 машина повела себя неожиданным образом и сбила наблюдавших за процессом журналистов. Это можно было бы считать неприятным курьезом, но проблема гораздо глубже, и менно поэтому я решил о ней написать здесь.

Изначально было высказано предположение, что причиной послужила неисправность в компьютерной системе, однако, как в итоге выяснилось, с машиной все в порядке. Все дело в том, что хозяин авто не оплатил дополнительную опцию, которая позволяет системе радаров и камер Volvo XC60 распознавать пешеходов. В базовой комплектации автомобиль оснащен системой автоматического торможения для избежания столкновений, однако она работает только с другими автомобилями. Чтобы машина начала «видеть» пешеходов и тормозить, предотвращая возможные случаи наезда, владельцам машины необходимо доплатить определенную сумму. Данную информацию озвучил в интервью пресс-атташе Volvo Йохан Ларссон (Johan Larsson). Что касается двух пострадавших журналистов, то они отделались ушибами, обошлось без переломов.

И тут я подумал,  что Volvo нарушила первый закон робототехники: "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред." Не важно что там в пакете оплачено или нет, но если робот распознает человека как препятствие, а это технически реализовано в данной машине и все возможности для этого были, то наезд на него должен быть невозможен вне зависимости от того что оплатил, или не оплатил владелец.

Теперь комментарии от меня. Хорошо, что обошлось без серьезных повреждений, и тем более без жертв. Этот ролик очень показательный, и я надеюсь из этого случая извлекут уроки все.

Во-первых, он показывает бездумное отношение потребителя к "умному" устройству. Хозяин до конца не разобрался, что там у него включено в пакет, что нет, решил показать супер-пупер демонстрацию и вот результат. В целом человечество очень небрежно относится к новым техническим возможностям "интернета вещей", но не буду сильно эту тему развивать.

Во-вторых, виновата Volvo Cars и ее дилеры  которые продавая автомобили с очень продвинутым функционалом даже не удосужились провести трейнинг по возможностям машины. Вы можете возразить, что так мы дойдем до того что дилеры должны будут права проверять у покупателя. Все же эти функции необычные, непривычные, можно именно для них сделать некоторое исключение. Возможно в будущем таких ликбезов и не понадобится.

В-третьих, конечно, во всем великолепии проявили себя современные маркетологи, которые так выстраивают ценообразования на дополнительные функции. Самое важное (и самое прибыльное) они продают отдельно с большой наценкой, а к чему приводит такая политика мы уже видели. Как можно было не включить в базовый пакет "наезд на пешехода"?

У меня такое ощущения что ни Volvo, ни другие производители занимающиеся "интернетом вещей" не понимают до конца на какую территорию они вступают. Ну да мы научили машину саму переключать передачи, удобно же и водителю облегчение. Ну да, мы поставили систему контроля мертвых зон, теперь машина пищит когда кто-то в опасной зоне, удобно же и водителю облегчение! Ну да, мы научили машину парковаться... Стоп, стоп стоп! Машину? Это уже робот, что мы и видим на этом примере.

Я может банальный вопрос задаю, но я немного из другой области, существуют ли действительно некие общие принципы организации безопасности самодостаточных автоматических устройств. Я специально не применю термин "робот". Просто то что мы увидели на этом видео пример, с моей точки зрения, вопиющей технической и организационной безграмотности.

Про законы робототехники. Их НЕТ! Айзек Азимов сформулировал их в 1947 году, и несмотря на то, что де-факто их все знают, де-юре они не существуют. Вопрос - может быть пора сформулировать законы, принципы построения самодостаточных автоматических устройст?  Чтобы сев за руль японского пепелаца в прокатной конторе где-то в южных странах, где все в иероглифах, я тем не менее понял бы как его отключить, где у него пресловутая "Красная кнопка" и т.д. Просто дальше будет все сложнее и печальнее!

Добро пожаловать в прекрасное будущее!



UPD Я бы все же хотел вернуть дискуссию в техническое русло. Я не спрашивал кто виноват, машина, водитель, пешеходы. Здесь не ru_chp. Понятно что заголовок я такой больше для привлечения внимания сделал, но и в таком заголовке есть зерно истины.
Я спрашивал про то, существуют ли базовые принципы и непреложные правила обеспечения безопасности автономных устройств? Судя по всему нет, а мы семимильными шагами движемся к миру автономных предметов - домов, автомобилей, торговых автоматов и т.д.

Comments

[volvo-cars.livejournal.com]

я не спрашивал про то кто виноват, Volvo, водитель, дилер, инженеры разработчики. я высказал своии сображения, я тоже не все знаю, за что купил... данных действительно мало, и они судя по всему прошли черех несколько рук, что там точно было сложно скзать
Но я спросил существуют ли сейчас общие принципы обеспечение безопасности автономных устройств, базовые, непреложные. Похоже что нет. по крайней мере мне никто этого не скзал.
Сеглдня авто ПОКА не роботы, а всего лишь роботизированные режимы, но завтра они станут полностью автоматическими устройствами.
Вопрос в этом!

[bobermai.livejournal.com]

Что считаем автономным устройством?

[volvo-cars.livejournal.com]

я не знаю, вопрос а кто-то знает, или идем методом проб и ошибок? Кто-то думает как можно избежать ошибок, или традиционно выбираем реактивный путь, вместо проактивного?

[bobermai.livejournal.com]

Ну так я и предлагаю начать с вопроса о том, что именно предполагается обсуждать. А то получится как обычно - один говорит о том, что для боевого дрона с пулеметом оператор необходим, другой - про то, что если у посудомойки есть таймер, это не делает обязательным встраивание туда детектора кота.

[fau74.livejournal.com]

Не существуют. Потому что понятие "безопасности" реализуется алгоритмически на основании данных от датчиков, а датчика "человек в опасной зоне" пока не существует даже в теории.

Существуют аналогичные узкопрофильные решения для полностью контролируемых сред - например, нефтянка, энергетика, тяжпром. Там распознавание ситуации "человек в опасной зоне" осуществляется либо по факту прохода в стационарно опасную зону ("открыта дверь / люк / смотровое окно", "нечто пересекло зону створного датчика в неправильную сторону", "нечто в зоне действия емкостного/оптического датчика"), либо по обязательному к ношению маячку на каждом человеке. Но там обычно "человек в опасной зоне" лишь одно из множества возможных тревожных событий по температуре, давлению, газоанализаторам и тэ пэ, и на каждую расписано свое дерево реакций.

Несколько особняком стоят медицинские решения, там носимые датчики еще и контролируют состояние носителя, умея при нужде заорать на всю систему "человек в опасности!" и даже конкретизировать в какой именно.

Кроме того, глобальные общие принципы возможны только при монополии на реализующее их устройство и ПО. Грубо говоря, чтобы гарантировать три закона, я должен быть монополистом на позитронные мозги и их начинку. Иначе - вон, стандарту DECT/GAP уже почти 25 лет, а до сих пор не всякая трубка не со всякой базой нормально работает. А при существующем зоопарке решений и вендоров о монополии на стандартный управляющий комплекс говорить не приходится.

[volvo-cars.livejournal.com]

мне нравится как вы пишите, по крайней мере не ищите кто больше виноват в данном случае с Volvo. Но под общими принципами я понимаю не только сложную логику, но простые вещи. Я не из этой области может неудачный пример, но такой - возможность безусловного, абсолютного отключения любого устройства. "Красный рубильник" который будет единого дизайна, не важно насколько это впишется в то или иное устройства который будет выключать ВСЕ, и без проверки доп условий - без трех предупреждений на китайском языке, без снижения скорости, без... без... Возможно от него будет больше вреда, но вопрос к НАМ. Мы должны решить как двигаться дальше и развивать "интернет вещеей" и "самрт устройства". я подумал что интерсно эту теиу поднять, а вольво это так для примера.
А что касатеся DECT то здесь просто уровень решения не такой серьезный и не такие деньги завязаны. вот GSM намного лучше стандартихзован и реализованы эти стандарты в оборудовании.
Каксатьельно законов есть всякие Еврокомиссии, ООН если хотите. У них сейчас там ответственный за контакты с инполанетянами есть, а за контакты с роботами нет

[fau74.livejournal.com]

Идея красного рубильника - она все-таки ближе к трем законам, нежели к реальным инженерным решениям.

Простой пример: отключение компьютерной подсистемы современного самолета приводит к потере им управления. Там управление идет через компьютерную систему и иначе не идет никак. Нет компа - хоть укрутись своим джойстиком, самолету пофигу. Поэтому там есть различные отключаемые автоматические системы, но отключить ФСЕ ВАЩЕ нереально.

Другой пример: система жизнеобеспечения чего бы то ни было не должна позволять себя отключить, пока есть кого жизнеобеспечивать. И тут базовая форма защиты от дурака - именно защита от случайного отключения.

Так что не все так просто.

[volvo-cars.livejournal.com]

именно, что не все просто и любое решение привет к жертвам, не побоюсь этого слова. Вопрос приходим ли мы к каким-то решиниям так как "так карта легла" или сознанно выбираем тот или иной вариант принимая его достоинства и недостатки. Мне кажется мы ближе к первому варианту, по крайней мере в моей области ICT именно так.

[avotara.livejournal.com]

Есть стандарты, обязательные к исполнению стандарты, по проектированию полуавтоматических и автоматических устройств (роботов). В кратце стандарты делают упор на безопасность для окружающих людей.
Например: если в устройстве нет сенсоров определяющих наличие людей то оно должно быть ограждено человеконепроницаемым забором, обязательно должна быть кнопка мгновенного отключения автоматического режима "грибок"... И так целая книжка правил проектирования.

Судя потому что автомобиль выпустили на дороги правила касаются только устройств промышленного назначения, иными словами только там где за жизнь и здоровье человека кто-то отвечает.

П.с. раньше проектировал автоматы промышленного назначения, как обстоят дела с гражданскими - не знаю.