А-а-а-а-а-а!!!! Восстание машин!

[volvo-cars.livejournal.com]

Оригинал взят у volvo_cars в А-а-а-а-а-а!!!! Восстание машин!

27.05.2015, Independent

Всем добрый день, кто про что а я про Volvo. Давно я здесь ничего не писал. У меня были посты в сообществе про интелектуальный шлем велосипедиста, про систему контроля дорожной обстаноки от этого автопроизводителя, но в последнее время новостей особых Volvo мне не подкидывала, и вот...
Этот видеоролик, записанный в Доминиканской Республике, запечатлел, как при демонстрации системы автоматической парковки Volvo XC60 машина повела себя неожиданным образом и сбила наблюдавших за процессом журналистов. Это можно было бы считать неприятным курьезом, но проблема гораздо глубже, и менно поэтому я решил о ней написать здесь.

Изначально было высказано предположение, что причиной послужила неисправность в компьютерной системе, однако, как в итоге выяснилось, с машиной все в порядке. Все дело в том, что хозяин авто не оплатил дополнительную опцию, которая позволяет системе радаров и камер Volvo XC60 распознавать пешеходов. В базовой комплектации автомобиль оснащен системой автоматического торможения для избежания столкновений, однако она работает только с другими автомобилями. Чтобы машина начала «видеть» пешеходов и тормозить, предотвращая возможные случаи наезда, владельцам машины необходимо доплатить определенную сумму. Данную информацию озвучил в интервью пресс-атташе Volvo Йохан Ларссон (Johan Larsson). Что касается двух пострадавших журналистов, то они отделались ушибами, обошлось без переломов.

И тут я подумал,  что Volvo нарушила первый закон робототехники: "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред." Не важно что там в пакете оплачено или нет, но если робот распознает человека как препятствие, а это технически реализовано в данной машине и все возможности для этого были, то наезд на него должен быть невозможен вне зависимости от того что оплатил, или не оплатил владелец.

Теперь комментарии от меня. Хорошо, что обошлось без серьезных повреждений, и тем более без жертв. Этот ролик очень показательный, и я надеюсь из этого случая извлекут уроки все.

Во-первых, он показывает бездумное отношение потребителя к "умному" устройству. Хозяин до конца не разобрался, что там у него включено в пакет, что нет, решил показать супер-пупер демонстрацию и вот результат. В целом человечество очень небрежно относится к новым техническим возможностям "интернета вещей", но не буду сильно эту тему развивать.

Во-вторых, виновата Volvo Cars и ее дилеры  которые продавая автомобили с очень продвинутым функционалом даже не удосужились провести трейнинг по возможностям машины. Вы можете возразить, что так мы дойдем до того что дилеры должны будут права проверять у покупателя. Все же эти функции необычные, непривычные, можно именно для них сделать некоторое исключение. Возможно в будущем таких ликбезов и не понадобится.

В-третьих, конечно, во всем великолепии проявили себя современные маркетологи, которые так выстраивают ценообразования на дополнительные функции. Самое важное (и самое прибыльное) они продают отдельно с большой наценкой, а к чему приводит такая политика мы уже видели. Как можно было не включить в базовый пакет "наезд на пешехода"?

У меня такое ощущения что ни Volvo, ни другие производители занимающиеся "интернетом вещей" не понимают до конца на какую территорию они вступают. Ну да мы научили машину саму переключать передачи, удобно же и водителю облегчение. Ну да, мы поставили систему контроля мертвых зон, теперь машина пищит когда кто-то в опасной зоне, удобно же и водителю облегчение! Ну да, мы научили машину парковаться... Стоп, стоп стоп! Машину? Это уже робот, что мы и видим на этом примере.

Я может банальный вопрос задаю, но я немного из другой области, существуют ли действительно некие общие принципы организации безопасности самодостаточных автоматических устройств. Я специально не применю термин "робот". Просто то что мы увидели на этом видео пример, с моей точки зрения, вопиющей технической и организационной безграмотности.

Про законы робототехники. Их НЕТ! Айзек Азимов сформулировал их в 1947 году, и несмотря на то, что де-факто их все знают, де-юре они не существуют. Вопрос - может быть пора сформулировать законы, принципы построения самодостаточных автоматических устройст?  Чтобы сев за руль японского пепелаца в прокатной конторе где-то в южных странах, где все в иероглифах, я тем не менее понял бы как его отключить, где у него пресловутая "Красная кнопка" и т.д. Просто дальше будет все сложнее и печальнее!

Добро пожаловать в прекрасное будущее!



UPD Я бы все же хотел вернуть дискуссию в техническое русло. Я не спрашивал кто виноват, машина, водитель, пешеходы. Здесь не ru_chp. Понятно что заголовок я такой больше для привлечения внимания сделал, но и в таком заголовке есть зерно истины.
Я спрашивал про то, существуют ли базовые принципы и непреложные правила обеспечения безопасности автономных устройств? Судя по всему нет, а мы семимильными шагами движемся к миру автономных предметов - домов, автомобилей, торговых автоматов и т.д.

Comments

[Александр Буховлов (from livejournal.com)]

Есть большие сомнения в том, что в интересы контролирующих входит наша целость.

[ahitech.livejournal.com]

Конечно, входит. Кого им контролировать, если не нас? Даже во времена крепостного права помещики были обязаны заботиться о благополучии крепостных. А сейчас времена слегка изменились.

[meks65.livejournal.com]

При этом никто не исключает всяческих "случайностей". Просто, если раньше для такой случайности надо было строить какие-то хитрые планы, но в случае автоматизации и интернетизации автомобилей нужно будет просто вовремя перехватить управление одним из объектов контроля.

[ahitech.livejournal.com]

При наличии нормальных протоколов шифрования этого просто не случится.

[Александр Буховлов (from livejournal.com)]

Любая система шифрования имеет чёрный ход. Сноуден слил общественности, хотя криптографы это и раньше прекрасно знали, и особо не секретили.
При этом непосредственно сам протокол может быть железобетонно неуязвим, просто маленький кунштюк на этапе генерации ключей... и хе-хе.

[ahitech.livejournal.com]

Абсолютно не любая. Что вам мешает взять алгоритм и реализовать его самостоятельно, не делая в нём никаких чёрных ходов, как это сделали, например, создатели системы Tor? Её ломали не на уровне протоколов, а на уровне JavaScript, вставляя идентификаторы в код тамошних сайтов. Сам протокол остаётся максимальной категории сложности для взлома, поэтому приходится использовать методы социальной инженерии, чтобы обойти технические сложности. Другое дело, что вашу реализацию запретят, если она наберёт популярность. Но говорить, что любая реализация алгоритмов содержит бэкдоры, это всё равно, что говорить, что любой мармелад содержит искусственные красители: ну так сварите свой собственный, без искусственных красителей; делов-то!

Взлом протоколов — это моя профессиональная деятельность. Я работал в группе Generic Application Protocol Analyzer в Microsoft до того, как её перевели в Редмонд. Мы встраивались между операционной системой и внешним миром и анализировали весь обмен информацией на всех уровнях OSI, начиная с IP. Сноуден, фактически, про мою группу рассказывал. Только он как-то не упомянул, что эта система прежде всего защищает пользователя. Да, попутно мы могли видеть всё, что делает пользователь, и если он занимается чем-то нехорошим, маякнуть кому надо. Это решаем уже не мы, а локальные администраторы на местах. Но для того, чтобы этого не произошло, достаточно всего лишь не заниматься ничем нехорошим.

[Александр Буховлов (from livejournal.com)]

Любая разрешённая к использованию реализация алгоритмов содержит бэкдоры.
Небольшое уточнение, не меняющее, впрочем, сути.

[ahitech.livejournal.com]

Пока ваша реализация не наберёт популярности, позволяющей ей успешно конкурировать с мощными коммерческими системами, никто и не почешется её запрещать. Она может, как максимум, попасть под общую раздачу — под запрет самодельных шифровальных систем, например.

[vspvsp.livejournal.com]

Контролировать контролирующих. Очень просто: пользователь контролируемого авто должен получать сообщение с идентификатором того, кто возжелал поконтролировать. Кстати российское общество тут гораздо дальше от цивилизации.