Китайцы атакуют автопилот Теслы С.

[solar-front.livejournal.com]

Так и пишут: "physical attacks to spoof Tesla's autopilot".

Суть в том, что:
Чудесные, ультрасовременные нейронные сети видят реальность не так как мы. А управлять им приходится в реальном мире, со своими дурацкими представлениями о целесообразности и логике.

Эксперты показывают компьютерам картинки и учат их: "например, таким вещами, как разметка полос. Сеть постепенно научится распознавать маркировку линий на основе сходства, которое она обнаруживает в маркированном наборе данных, но ... это сходство может быть очень абстрактным."

Это несоответствие между тем, что на самом деле является маркировкой, и тем, что думают нейронные сети ведет к тому, что даже высокоточные нейронные сети могут быть "обмануты «враждебными» изображениями". На прошлой неделе исследователи из лаборатории Keen Security в Tencent показали, как обмануть систему обнаружения полосы движения в Tesla Model S. Приэтом чтобы метки полосы будут распознаваться человеком, но автопилот Тесла свернет в неправильную полосу без предупреждения.


И геймпадом управляют и т.д.:
Китайцы глумятся:

"наклейки, размещенные там, где нет других разметок полосы движения, могут привести к тому, что на автопилоте Tesla переключится на встречную полосу без предупреждения(!)"

Кстати, Тесла уже ответила на это исследование:

«В этой демонстрации исследователи скорректировали физическую среду (например, разместив ленту на дороге или изменив линии полосы движения) вокруг транспортного средства, чтобы заставить автомобиль вести себя по-разному, когда используется автопилот. Это не случай из реального мира. И надо помнить, что водитель может легко выключить автопилот в любое время, используя руль или тормоза, и он должен быть готов к этому в любое время ».

Т.е. дорогие друзья, это автопилот, но ты должен его постоянно пасти. Я представляю себе следующую ситуацию:
1) Вы в отпуске.
2) Вы двигаетесь по высокоскоростной трассе например в Австрии.
3) Трасса входит в тонель и перед ним раздельная полоса исчезает.
4) Автомобиль на автопилоте выбирает не верный вьезд в тунель (встречка).
5) Водитель в ужасе хватается за руль, но дтп происходит.
6) Виноват водитель: его реакция, он был "последним кто управлял средством".
7) Все довольны, все расходятся (пенсионный фонд, медстраховка, торговцы органами).

Comments

[Дмитрий Рождественский (from livejournal.com)]

"Т.е. дорогие друзья, это автопилот, но ты должен его постоянно пасти.", - вы наверное будете смеяться, но с авиационным автопилотом (который сам по себе стоит наверное как вся Тесла) то же самое - его категорически запрещено оставлять без присмотра.

[cat-in-mind.livejournal.com]

проблема в том, что автопилот у теслы называется Автопилотом, но это не автопилот - это Автопилот (ТМ) :)

[solar-front.livejournal.com]

Насколько я понимаю: автопилот в самолете выполняет некое множество рутинных операций. И в случае когда он не справляется с ними управление ДОЛЖЕН принять пилот. Жерт может быть много, но время на реакцию - секунды.

В автомобиле время на реакцию миллисекунды, жертв меньше, стоимость ниже.
Если я вместо того, чтобы контролировать движение ТС должен контролировать движение ТС и управление автопилота - зачем мне это?

Попить кофеек? Припарковаться?

[ubpskh.livejournal.com]

Не надо забывать, что и без всякого автопилота риск гибели в расчете на километр пути в автомобиле в 45 раз больше риска гибели в авиакатастрофе, в 30 раз больше -- чем в Ж\Д катастрофе и в 10 -- чем риск гибели пассажира автобуса.

И, тем не менее, автомобили пока что не запретили, несмотря то, что счет погибшим идет на сотни тысяч ежегодно

[fan-d-or.livejournal.com]

ПДД пишутся кровью - это никто ещё не отменил.

Ответ теслы конечно доставляет - вся соль именно в объёме обучающего материала и его характере. Оценка ситуации ДОЛЖНА быть многоплановой и включать косвенные признаки (контекст) - ограничение аналитики сугубо дорожными образами заведомо недостаточно.

ХИНТ: технически правильная система должна быть не только самообучаемой в процессе эксплуатации (на основе собственного локального опыта) - опыт должен обобщаться на уровне облака и локальные системы должны опираться на групповой опыт.

[Дмитрий Рождественский (from livejournal.com)]

Когда работает автопилот, вы не контроллируете машину, вы контроллируете только работу автопилота. Это приводит к значительному снижению усталости. А для того, чтобы не напрягаться, надо просто держать руль - когда автопилот решит совершить манёвр, то появившееся на руле усилие моментально вернёт внимание водителя на дорогу.

[solar-front.livejournal.com]

Чудесно, просто чудесно. Сажусь в такую машину в паркинге чтобы проехать пару км - плевое же дело...
ан, нет, подожди.
Сначала дай интернет, ах, ты в паркинге, тогда принеси, "сделай что нибудь".
Нашел интеренет? Мне надо скачать из облака - иначе нет безопасности (!) а это превыше всего! Ехать? - никак нельзя - еще не безопасно!

[solar-front.livejournal.com]

"вы контроллируете только работу автопилота"
Пардон, но это болтовня. Контролировать работу автопилота без контроля движения средства невозможно.

[thomas-willow.livejournal.com]

на видео мало чего понятно. видно что маркировка дороги вообще пропала и видно что была команда от водителя сменить полосу влево и встречных автомобилей не было и дело происходит на каком-то обширном пространстве, которое мало похоже на дорогу.
ошибочное включение дворников - ну а представьте себя на месте автоматики. вам кожанные ублюдки демонстрируют какую-то нечёткую картинку - чего они хотят? ясно-понятно, хотят чтобы я включил дворники.

[fan-d-or.livejournal.com]

Добавка...

Электронный водитель должен ПРИНЦИПИАЛЬНО строиться на облачной технологии - ВСЕ ЭВ должны в облаке синтезировать совокупными усилиями локальную дорожную карту, описывающую конкретную дорожную ситуацию в зоне, доступной сенсорам участников движения.

Соответственно, дорожная карта дополняется сведениями о параметрах движения участников, полученными из системы управления автомобилем. И, главное, - совокупная картина дополняться прогнозом управляющих действий конкретного участника!

Тогда можно на уровне "коллективного разума" данного сегмента траффика ввести эффективную оптимизацию, не только обеспечивающего максимальную безопасность, но и оптимизировать траффик - исключая пробки и прочие прелести плотного движения.

ХИНТ: иной системе управления движением я б свою жизнь не доверил бы!

[chapai67.livejournal.com]

и чем это отличается от постановки помех?

лишь тем что для человека это видмо но означает нечто другое?

[solar-front.livejournal.com]

"И, главное, - совокупная картина дополняться прогнозом управляющих действий конкретного участника! "

Давать каждому участнику рейтинг и на его основе выдавть банковский кредит. Свобода, равенство, братство!

[solar-front.livejournal.com]

Человек на них внимания не обращает. Вообще.

[fan-d-or.livejournal.com]

У вас крайне ограниченный кругозор - если вы понимаете под облаком исключительно интернет.

В данном случае облако организуется исключительно средствами участников движения - для чего каждый участник движения снабжается средствами коммуникации, которая устанавливается автоматически при появлении в зоне действия коммуникаторов другого участника.
И тогда чем плотней траффик - тем масштабней облако и тем больше его совокупная вычислительная мощь.

А интернет - он сбоку, через стационарные датчики и сенсоры контроля движения.

При такой архитектуре время доступа к облаку - миллисекунды.


upd: естественно, для дорожного облака разрабатываются свои специальные стандарты - оптимизированные именно под эту задачу.
В эфире выделяются соответствующие диапазоны, аппаратура стандартизируется и сертифицируется на национальном уровне...

[chapai67.livejournal.com]

незаметную глазу оптическую илюзию, могли вообщепопытаться контрастое в инфрареде использовать если тесла пользуется IR.
Но все в хаке завязано на то что у теслы оптика.с лидарами надо полагать, такой фокус не пройдет.

Хотя было бы интересно продемонстрировать хак с жидкими кристаллами ли что там в пленке применяется, которая меняет прозрачность на белую. Сейчас такая продается .

Кстати что они в самом конце пультом делают?

[solar-front.livejournal.com]

Дадад! У меня очень плохой кругозор. Особенно после того как я поддался рекламе и купил авто с максимальной электронной начинкой на 2016й.

[solar-front.livejournal.com]

Управляют авто.

[fan-d-or.livejournal.com]

Насчёт рейтинга - верно: идентификатор в системе обязан быть.
Остальное - ваши недодумки...

[lev-evgenevi4.livejournal.com]

Интересно,на какой серии таки закончится санта-барбара "Solar Front и его сложные отношения с Tesla"?

[solar-front.livejournal.com]

Не, спасибо. В таком чудесном мире я на велике.

[chapai67.livejournal.com]

как?

[fan-d-or.livejournal.com]

Не смешно.
Забить каналы сенсорики человека - проще простого.
Просто пока человек опирается на более полную картину, получаемую от доставшегося от эволюции аппаратно-программного комплекса, существенно превосходящего объём узкоспециализированной системы "Автопилот Тесла" (ТМ).

ХИНТ: как забить каналы сенсорики и ввести в управленческий ступор хомосапа - могу рассказать отдельно. Поскольку этот инженерный аспект входил в мои служебные обязанности (проектирование кабинных приборов для истребителя).
И книжка "Инженерная психология" по сю пору имеется на моей книжной полке...

[hardsign.livejournal.com]

Это же «Зенитные кодексы Аль-Эфесби»!

[solar-front.livejournal.com]

ХЗ

[solar-front.livejournal.com]

Не надо. Я женат.