Китайцы атакуют автопилот Теслы С.

[solar-front.livejournal.com]

Так и пишут: "physical attacks to spoof Tesla's autopilot".

Суть в том, что:
Чудесные, ультрасовременные нейронные сети видят реальность не так как мы. А управлять им приходится в реальном мире, со своими дурацкими представлениями о целесообразности и логике.

Эксперты показывают компьютерам картинки и учат их: "например, таким вещами, как разметка полос. Сеть постепенно научится распознавать маркировку линий на основе сходства, которое она обнаруживает в маркированном наборе данных, но ... это сходство может быть очень абстрактным."

Это несоответствие между тем, что на самом деле является маркировкой, и тем, что думают нейронные сети ведет к тому, что даже высокоточные нейронные сети могут быть "обмануты «враждебными» изображениями". На прошлой неделе исследователи из лаборатории Keen Security в Tencent показали, как обмануть систему обнаружения полосы движения в Tesla Model S. Приэтом чтобы метки полосы будут распознаваться человеком, но автопилот Тесла свернет в неправильную полосу без предупреждения.


И геймпадом управляют и т.д.:
Китайцы глумятся:

"наклейки, размещенные там, где нет других разметок полосы движения, могут привести к тому, что на автопилоте Tesla переключится на встречную полосу без предупреждения(!)"

Кстати, Тесла уже ответила на это исследование:

«В этой демонстрации исследователи скорректировали физическую среду (например, разместив ленту на дороге или изменив линии полосы движения) вокруг транспортного средства, чтобы заставить автомобиль вести себя по-разному, когда используется автопилот. Это не случай из реального мира. И надо помнить, что водитель может легко выключить автопилот в любое время, используя руль или тормоза, и он должен быть готов к этому в любое время ».

Т.е. дорогие друзья, это автопилот, но ты должен его постоянно пасти. Я представляю себе следующую ситуацию:
1) Вы в отпуске.
2) Вы двигаетесь по высокоскоростной трассе например в Австрии.
3) Трасса входит в тонель и перед ним раздельная полоса исчезает.
4) Автомобиль на автопилоте выбирает не верный вьезд в тунель (встречка).
5) Водитель в ужасе хватается за руль, но дтп происходит.
6) Виноват водитель: его реакция, он был "последним кто управлял средством".
7) Все довольны, все расходятся (пенсионный фонд, медстраховка, торговцы органами).

Comments

[Дмитрий Рождественский (from livejournal.com)]

Там нет встречного движения, если все летят по правилам. Но когда все ездят по правилам - на дороге тоже нет встречного движения. Что же до миллисекунд - реакция человека на любое событие занимает минимум сто миллисекунд, но для коррекции автопилота, что авиационного, что автомобильного, не нужно и этого. Например когда я еду на автопилоте, я сижу в симметричной позе, и чтобы разогнуть ногу и нажать на тормоз мне нужно довольно много времени (больше, чем чтобы перенести её с газа на тормоз). Однако кода я чувствую, что машина интенсивно тормозит (что очень хорошо чувствуется в отличии от штатного режима поддержания скорости, когда она тормозит передачей), я успеваю начать смотреть обратно на дорогу с хорошим запасом времени. Аналогично когда машина начинает интенсивно подруливать.

[solar-front.livejournal.com]

Чудесно. Т.е. машина "подруливает", вы просыпаетесь, думаете (100 мс), достаете ногу (еще 100 мс) - принимаете решение. Решение не верное. Но это Вы его приняли, вы взяли на себя управление (например рванув руль не туда). Следовательно и вам нести отвественность, а не производителю автопилота, хотя последний "привез" Вас в эту ситуацию.

[Дмитрий Рождественский (from livejournal.com)]

Более того, отвечать за последствия я буду даже в том случае, если ничего не предприму. Именно поэтому законодательство большинства стран и не разрешает пока автономное вождение. В частности моя машина не позволяет отпускать руль более, чем на пятнадцать секунд, даже если она считает, что видит разметку. И в документации на машину то, что мы в обиходе называем автопилотом так ни в коем случае не называется, а называется ассистентом поддержания дистанции и ассистентом удержания в полосе. Также там большими и жирными буквами написано, что ассистент может быть автоматически отключен в любой момент (разметка может внезапно пропасть, радар может залепить снегом и так далее), и что полагаться на него запрещено.

[solar-front.livejournal.com]

И китайцы показывают, что такой "ассистент" запросто при нарисованных полосах которые человеку ясны делает ошибку.

По идее, тесла должна поблагодарить китайцев.

[Дмитрий Рождественский (from livejournal.com)]

Тут благодарить особо не за что, так как они воспроизвели ситуацию, которая в реальности не встречается, и переучивать нейронку на которую не имеет смысла. А вот если бы они прислали фотографию реальной дорожной ситуации, в которой машина ведёт себя не правильно - это было бы действительно ценно.

[solar-front.livejournal.com]

?? Граждане показали как тремя небольшими наклейками система дезориентируется, а Вы хотели бы повторяния истории с Максом Боинга, да? И вот тогда, по факту...

[Дмитрий Рождественский (from livejournal.com)]

Эти истории не имеют ничего общего. В первом случае была сымитирована ситуация, вероятность которой в реальной жизни ничтожна, но о возможности которой производитель предупреждает. Во втором имеет место недокументированная реакция на отказ датчиков. А отказ датчиков на самолёте на самом деле бывает намного чаще, чем на реальном автобане встречаются посторонние наклейки.

[solar-front.livejournal.com]

"недокументированная реакция на отказ датчиков"

Как мило. Так им на надгробиях и писать.

[aso.livejournal.com]

Во втором имеет место недокументированная реакция на отказ датчиков.

Э-ээ, деточко, а Вы словосочетание "сертификация" слышале?
А "робустные системы"?
А "критические с точки зрения безопасности"?

[aso.livejournal.com]

Робастность, да.
Это отказоустойивость - т.е. способность продолжать нормальное функционирование при наличии отказов и помех - либо минимально и управляемо снижать свои функциональные возможности.

[aso.livejournal.com]

Китайцы открыли способ, как Вас можно убить влёгкую - и избежать ответственности - а Вы всё рассуждаете про какую-то "реальность", в которой "это невозможно"?

[Дмитрий Рождественский (from livejournal.com)]

Меня нельзя убить, по крайней мере влёгкую, потому что я читаю инструкции и смотрю на дорогу, даже когда еду на автопилоте.

[aso.livejournal.com]

Оптимист - лёгкая добыча для проблем.

[vombatus123.livejournal.com]

Собственно, до тех пор, пока в автомобиле есть руль, водитель будет нести ответственность, за действие... или бездействие. Вот когда автомобиль полностью превратится в персональное такси, тогда без вариантов - ответственность целиком и полностью на производителе. Ну до этого ещё далеко...

[aso.livejournal.com]

Там нет встречного движения, если все летят по правилам.

Щито?
Даже если на эшелоне "ездить не по правилам" - расстояние между бортами составляет десятки километров, сближения бортов всегда "парные" - т.е. вы всегда можете видеть самолёт оппонента за десятки и сотни километров.
В случае двидения по автодорогам - это не так.

Но когда все ездят по правилам - на дороге тоже нет встречного движения.

Что-бы вас загнать под встречный грузовик - "автопилоту" Теслы хватит десятых долей секунды.
Ну или ещё можно тюкнуть вас от ТС, движущиеся в попутном направлении.
Вы разве никогда не видели видео типа "илиоты на дорогах" или "Worst Roads"?

[Дмитрий Рождественский (from livejournal.com)]

Ерунда от первого и до последнего слова.
Про самолёты: расстояние между эшелонами - 300 метров, видимость часто бывает нулевая, радар тоже небесконечен.
Про машины: манёвр автопилота достаточно плавный, чтобы водитель на него мог успеть отреагировать. Наезд же на попутного пока ещё вообще никто не хакнул, потому что там радар, который, в отличии от нейронной сети, занимающейся удержанием в полосе, работает детерминированно. За год постоянного использования (30000 километров пробега) он меня ещё ни разу не подвёл, хотя иногда и срабатывает ложно.

[aso.livejournal.com]

Ерунда от первого и до последнего слова.

Эеспердта видно по полёту.

Про самолёты: расстояние между эшелонами - 300 метров,

...по высоте...
Сближение на 20 км "по горизонтали" - повод проснуться и потянуться к штурвалу.

видимость часто бывает нулевая,

На эшелоне? 0_0

радар тоже небесконечен.

На сотню километров не берёт? 0_0

Про машины: манёвр автопилота достаточно плавный, чтобы водитель на него мог успеть отреагировать.

Ну, если он окажется неплавный - ты нам просто уже ничего не напишешь.

Наезд же на попутного пока ещё вообще никто не хакнул, потому что там радар, который, в отличии от нейронной сети, занимающейся удержанием в полосе, работает детерминированно.

Радар хакается вообще как два пальца.

За год постоянного использования (30000 километров пробега) он меня ещё ни разу не подвёл

Естественно.
С теми, кого он подвёл - поговорить уже не получится.

[hoshinokoee.livejournal.com]

Да,конечно.И двойных разделительных полос не существует.И вообще разделительных полос не существует.
Ах,да - реакция челвоека вещь сугуба индивидуальная и в каждый конкретный момент тем более.