Китайцы атакуют автопилот Теслы С.

[solar-front.livejournal.com]

Так и пишут: "physical attacks to spoof Tesla's autopilot".

Суть в том, что:
Чудесные, ультрасовременные нейронные сети видят реальность не так как мы. А управлять им приходится в реальном мире, со своими дурацкими представлениями о целесообразности и логике.

Эксперты показывают компьютерам картинки и учат их: "например, таким вещами, как разметка полос. Сеть постепенно научится распознавать маркировку линий на основе сходства, которое она обнаруживает в маркированном наборе данных, но ... это сходство может быть очень абстрактным."

Это несоответствие между тем, что на самом деле является маркировкой, и тем, что думают нейронные сети ведет к тому, что даже высокоточные нейронные сети могут быть "обмануты «враждебными» изображениями". На прошлой неделе исследователи из лаборатории Keen Security в Tencent показали, как обмануть систему обнаружения полосы движения в Tesla Model S. Приэтом чтобы метки полосы будут распознаваться человеком, но автопилот Тесла свернет в неправильную полосу без предупреждения.


И геймпадом управляют и т.д.:
Китайцы глумятся:

"наклейки, размещенные там, где нет других разметок полосы движения, могут привести к тому, что на автопилоте Tesla переключится на встречную полосу без предупреждения(!)"

Кстати, Тесла уже ответила на это исследование:

«В этой демонстрации исследователи скорректировали физическую среду (например, разместив ленту на дороге или изменив линии полосы движения) вокруг транспортного средства, чтобы заставить автомобиль вести себя по-разному, когда используется автопилот. Это не случай из реального мира. И надо помнить, что водитель может легко выключить автопилот в любое время, используя руль или тормоза, и он должен быть готов к этому в любое время ».

Т.е. дорогие друзья, это автопилот, но ты должен его постоянно пасти. Я представляю себе следующую ситуацию:
1) Вы в отпуске.
2) Вы двигаетесь по высокоскоростной трассе например в Австрии.
3) Трасса входит в тонель и перед ним раздельная полоса исчезает.
4) Автомобиль на автопилоте выбирает не верный вьезд в тунель (встречка).
5) Водитель в ужасе хватается за руль, но дтп происходит.
6) Виноват водитель: его реакция, он был "последним кто управлял средством".
7) Все довольны, все расходятся (пенсионный фонд, медстраховка, торговцы органами).

Comments

[Дмитрий Рождественский (from livejournal.com)]

"Т.е. дорогие друзья, это автопилот, но ты должен его постоянно пасти.", - вы наверное будете смеяться, но с авиационным автопилотом (который сам по себе стоит наверное как вся Тесла) то же самое - его категорически запрещено оставлять без присмотра.

[cat-in-mind.livejournal.com]

проблема в том, что автопилот у теслы называется Автопилотом, но это не автопилот - это Автопилот (ТМ) :)

Именно!

[svarogych.livejournal.com]

Именно!
В Тесле автопилота нет, и в ближайшие годы не будет.

[sincere-talk.livejournal.com]

Эта проблема существует только в твоей голове. Тесла никогда и никому не говорила, что машина все будет делать сама. А обратное говорит каждый раз. Ты должен держать руки на руле.

[cat-in-mind.livejournal.com]

конечно, это только я виноват, что Автопилот - не является автопилотом :)

[sincere-talk.livejournal.com]

Повторюсь, что проблема существует только в вашей голове. Но судя по вашему второму сообщению, вы ее и не используете. Сходите с этим к производителям а(А)втопилотов в гражданской авиации и попытайтесь там выяснить, почему у них автопилот тоже не автопилот. И тут вам в голову должна закрасться мысль: а может я все это время не правильно трактовал термин "автопилот". Но это при хорошем стечении обстоятельств.

[aso.livejournal.com]

Тесла никогда и никому не говорила, что машина все будет делать сама. А обратное говорит каждый раз. Ты должен держать руки на руле.

Хрена себе!
А уважаемый гражданин фкурсе, что в такой конфигурации - "автопилот" вреднее его полного отсутствия?

[skysheep.livejournal.com]

Вы считаете что у самолетов автопилот вреден? Ведь пилотам тоже приходитсъ сидеть и не спать весь полет.

[sincere-talk.livejournal.com]

Ну не покупай, в чем проблема. Но чую, что у тебя такой вопрос в жизни уже и не встанет:)))
А объяснять, что пилот самолета рулит в том же режиме, но при этом никому не приходит в голову считать это чем то вредным, я устал. Альтернативное мышление не выпрямляется комментариями в жж.

[solar-front.livejournal.com]

Насколько я понимаю: автопилот в самолете выполняет некое множество рутинных операций. И в случае когда он не справляется с ними управление ДОЛЖЕН принять пилот. Жерт может быть много, но время на реакцию - секунды.

В автомобиле время на реакцию миллисекунды, жертв меньше, стоимость ниже.
Если я вместо того, чтобы контролировать движение ТС должен контролировать движение ТС и управление автопилота - зачем мне это?

Попить кофеек? Припарковаться?

[ubpskh.livejournal.com]

Не надо забывать, что и без всякого автопилота риск гибели в расчете на километр пути в автомобиле в 45 раз больше риска гибели в авиакатастрофе, в 30 раз больше -- чем в Ж\Д катастрофе и в 10 -- чем риск гибели пассажира автобуса.

И, тем не менее, автомобили пока что не запретили, несмотря то, что счет погибшим идет на сотни тысяч ежегодно

[Дмитрий Рождественский (from livejournal.com)]

Когда работает автопилот, вы не контроллируете машину, вы контроллируете только работу автопилота. Это приводит к значительному снижению усталости. А для того, чтобы не напрягаться, надо просто держать руль - когда автопилот решит совершить манёвр, то появившееся на руле усилие моментально вернёт внимание водителя на дорогу.

[solar-front.livejournal.com]

"вы контроллируете только работу автопилота"
Пардон, но это болтовня. Контролировать работу автопилота без контроля движения средства невозможно.

[boud.livejournal.com]

Можно понять - эта штука что-то делает. Оценить верность действий, конечно, нельзя. И даже имея десятки секунд, оценить верность не всегда можно. Скорость сбросил с 90 до 65 км/ч за городом, это из-за знака "60", который был, но ты на дорогу не смотрел, из-за того, что впереди тревога какая-то, которую не видно с места водителя или он неисправен просто?

[shurets.livejournal.com]

Ты сам-то веришь в то, что написал? ;)))

[kichiro-sora.livejournal.com]

да хрень какуюто он написал. Если автопилоту нельзя доверять - то это будет гораздо большее напряжение, чем без него. Так люди спокойно едут по хайвэю держа одну руку на руле без всяких автопилотов.

На самом деле Тесла тут пытается и рыбку сьесть и другое сделать... Покупателям конечно это все подается как автопилот, с незначительными оговорочками, которые, выж понимаете чисто для формальности. И только если какие проблемы - то это бац, оказывается и не автопилот - надо было оговорочки читать!

[aso.livejournal.com]

когда автопилот решит совершить манёвр, то появившееся на руле усилие моментально вернёт внимание водителя на дорогу.

Дядя, ты дурак?
Время "включения" человека в работу - раз в десять превышает время реакции "в рабочем состоянии", а то и больше.
Т.е. расслабленный оператор просто протупит, а то ещё, чего доброго - впадёт в ступор.

[hoshinokoee.livejournal.com]

Только совершенно разные условия.
В авиации автопилот включают на эшелоне,когда саиолет набрал высоту.Там нет встречного движения,ненужна скорость реакции в милисекунды.
Разница кардинальная.

[Дмитрий Рождественский (from livejournal.com)]

Там нет встречного движения, если все летят по правилам. Но когда все ездят по правилам - на дороге тоже нет встречного движения. Что же до миллисекунд - реакция человека на любое событие занимает минимум сто миллисекунд, но для коррекции автопилота, что авиационного, что автомобильного, не нужно и этого. Например когда я еду на автопилоте, я сижу в симметричной позе, и чтобы разогнуть ногу и нажать на тормоз мне нужно довольно много времени (больше, чем чтобы перенести её с газа на тормоз). Однако кода я чувствую, что машина интенсивно тормозит (что очень хорошо чувствуется в отличии от штатного режима поддержания скорости, когда она тормозит передачей), я успеваю начать смотреть обратно на дорогу с хорошим запасом времени. Аналогично когда машина начинает интенсивно подруливать.

[solar-front.livejournal.com]

Чудесно. Т.е. машина "подруливает", вы просыпаетесь, думаете (100 мс), достаете ногу (еще 100 мс) - принимаете решение. Решение не верное. Но это Вы его приняли, вы взяли на себя управление (например рванув руль не туда). Следовательно и вам нести отвественность, а не производителю автопилота, хотя последний "привез" Вас в эту ситуацию.

[aso.livejournal.com]

Там нет встречного движения, если все летят по правилам.

Щито?
Даже если на эшелоне "ездить не по правилам" - расстояние между бортами составляет десятки километров, сближения бортов всегда "парные" - т.е. вы всегда можете видеть самолёт оппонента за десятки и сотни километров.
В случае двидения по автодорогам - это не так.

Но когда все ездят по правилам - на дороге тоже нет встречного движения.

Что-бы вас загнать под встречный грузовик - "автопилоту" Теслы хватит десятых долей секунды.
Ну или ещё можно тюкнуть вас от ТС, движущиеся в попутном направлении.
Вы разве никогда не видели видео типа "илиоты на дорогах" или "Worst Roads"?

[hoshinokoee.livejournal.com]

Да,конечно.И двойных разделительных полос не существует.И вообще разделительных полос не существует.
Ах,да - реакция челвоека вещь сугуба индивидуальная и в каждый конкретный момент тем более.

[aso.livejournal.com]

Если бы Боинги клепались такими же тиражами, как и Теслы - то их стоимость была бы примерно как у тесловского "автопилота".
При этом характерное время реакции пилота в тех ситуациях, когда нужно перехватить управление самолётом - до минуты, а то и больше.
Характерное время реакции при вождении автомобиля.- десятые доли секунды.
При этом, в ситуациях, когда критический интервал времени при самолётовождении приближается к автомобильному - пилоты либо непосредственно "работают" в контуре управления - либо находятся в режиме "горячей готовности".

[Дмитрий Рождественский (from livejournal.com)]

Нет, не был бы, и именно потому, что у авиационного автопилота совсем другие требования по безопасности. То есть алгоритмически он да, намного проще, но физически устроен гораздо сложнее.

[aso.livejournal.com]

Нет, не был бы, и именно потому, что у авиационного автопилота совсем другие требования по безопасности.

Мусью каким краем глаза автопилот видел?
И заодно - какова квалификация монсеньора в разработке safety-critical system в области automotive?