Способ аппроксимации любой нелинейной функции с помощью ряда параметров заключается в использовании нейронных сетей сетей .Нейронные сети могут аппроксимировать любой вид функции с помощью ряда весов, выполняя матричное умножение и используя нелинейности. Но как мы можем найти правильные веса / параметры, которые точно соответствуют нашей желаемой функции? Обычно NN обучаются с использованием алгоритмов gradient спуска , таких как backpropagation . В нашем случае проблема заключается в том, что ошибка сети не дифференцируема: это означает, что когда она получает на входе текущее состояние и желаемое ускорение, она выдает определенный крутящий момент.Но мы не знаем, каким должен был быть фактический крутящий момент, чтобы дать системе. У нас нет истинных значений, которые используются в классическом обучении с учителем для вычисления градиентного спуска. Это означает, что мы не знаем, как настроить наши параметры, мы не знаем правильного направления, которое обычно находится с использованием частных производных , чтобы уменьшить ошибку .

Выберите лучших решений, объедините и , доработайте параметров, и протестируйте новые решения, сохраняя лучшие

Вот где эволюционные алгоритмы становятся очень полезными.Как уже было сказано, мы можем увидеть, насколько хорошее решение (то есть параметры нашей сети, которая выводит желаемый крутящий момент), вычислив, насколько траектория робота далека от желаемой (в основном, мы интегрируем норму ошибки положения в на каждом временном шаге) Затем мы можем комбинировать и случайным образом изменять параметры наиболее эффективной комбинации параметров, то есть генов . На каждой итерации мы создаем новые решения, развивая лучшие из них. Затем мы запускаем этот генетический контроллер на нашем роботе, чтобы он следовал нашей траектории, вычисляя общую ошибку.Если ошибка ниже, чем раньше, у нас есть новое лучшее решение, которое мы сохраняем и пытаемся развиваться дальше! Шаги одинаковы для каждой итерации: выбирает лучших решений, объединяет и развивает параметров и тестирует новые решения, сохраняя лучшие. Таким образом, путем генетической эволюции, мы находим лучший набор весов для нашей нейронной сети, тем самым развивая нейроконтроллер на биологической основе.

Интересно посмотреть, как небольшая нейронная сеть, состоящая всего из 2 скрытых слоев и около 80 нейронов, может развиться в мощный контроллер с эволюционными алгоритмами без необходимости вычислять единственную производную всего за 50 итераций.Таким образом, робот эволюционирует шаг за шагом, открывая новые способы передвижения и следования по траектории.

Здесь я показываю желаемую траекторию (синим цветом) и то, как робот следует по ней с классическим контроллером PD или с генетически развитым контроллером нейронной сети (красным). Обратите внимание на различное интересное поведение последнего. Робот стартует как в неправильном положении, так и с неправильной скоростью, двигаясь в противоположном направлении, поэтому контроллеры должны сделать поворот.

В этом посте я кратко описал, как мы с моим коллегой разработали нейроконтроллер для робота, позволяющий ему двигаться точно, даже не зная ничего о динамической модели самого себя, используя алгоритмы, вдохновленные биологией. Вы можете найти весь код этого проекта в этом репозитории GitHub.

В следующих постах я покажу другие методы для достижения того же результата, используя новые подходы. Не стесняйтесь комментировать или задавать вопросы о чем угодно!

Способность перемещать объекты мысленно

Телекинез (ТК), также известный как Психокинез (ПК), - это способность перемещать объект с помощью своего разума. Эта умственная сила позволяет вам левитировать или перемещать предметы на расстоянии. Мы видим такие вещи в фильмах, однако действительно ли мы, люди, можем это делать?

Фильм «Кэрри» - отличный пример телекинеза, поскольку он лучше всего демонстрирует эту способность. Главная героиня Кэрри может перемещать предметы с помощью своего разума. В школе над ней издеваются, что приводит к раскрытию ее телекинетических способностей.К сожалению, она использует свои особые навыки, чтобы отомстить тем, кто обидел ее, что приводит к печальному финалу.

Хотя это вымышленный фильм и персонаж, несколько человек утверждают, что телекинез - это реальность. Этот феномен годами изучается парапсихологами. Нет никаких научных доказательств того, что телекинез существует, и за всю его историю он никогда не мог быть доказан как нечто реальное, поскольку не мог быть объяснен учеными.

По мнению ученых, чтобы что-то было реальным, его нужно измерить, проверить и объяснить.Телекинетические способности на сегодняшний день не доказаны, поэтому многие люди скептически относятся и не верят в телекинез.

Хотя телекинез остается слабым, многие люди полагают, что у них есть эта способность. Если вы действительно задумаетесь, вы сами сможете развить телекинетические способности. Так что, если вы действительно хотите изучить телекинез, продолжайте читать. В этом руководстве мы расскажем обо всем, что вам нужно знать, чтобы начать развивать свои навыки.

Давайте начнем это увлекательное путешествие!

Сконцентрируйтесь и верьте, что сможете

Прежде чем приступить к процессу развития способностей телекинеза, вам нужно в это поверить.Кроме того, вам действительно нужно настроить и отточить навыки концентрации, когда дело доходит до обучения телекинезу. Чем глубже вы сможете сконцентрироваться, тем быстрее вы сможете развить способности телекинеза.

Вот несколько способов подготовиться:

• Relax - Делайте все возможное, чтобы расслабиться и очистить свой разум. Медитация - отличный способ добиться этого и усилить концентрацию. Другим людям нравится заниматься спортом или принимать горячую ванну, чтобы подготовиться.
• Верить - Если в глубине души вы верите, что телекинез - это миф и не существует, вы не достигнете телекинеза.Это самое большое препятствие, с которым вы можете столкнуться, поэтому вам нужно убедить себя, что оно реально и может быть изучено.
• Визуализируйте - Чего вы пытаетесь достичь? Вы хотите согнуть эту ложку? Подвиньте чашку на несколько дюймов, верно? Прежде чем вы сможете это сделать, вам нужно сделать это частью себя и визуализировать, как это происходит.
• Практика - Самая важная часть всего, что вы пытаетесь улучшить, - это практика. Работайте над телекинетическими способностями по 10-15 минут в день. Эта сила не то, что вы получите в одночасье.Над этим нужно работать день за днем.
• Терпение - ключ к успеху. Все великие дела требуют времени, и это не исключение. Уровни прогресса варьируются от человека к человеку, поэтому не расстраивайтесь, когда вы не получаете желаемых результатов правильно.

Наряду с практикой этих методов не забудьте ежедневно работать над повышением концентрации и укреплять ее. Если вы сможете сконцентрироваться всего на несколько минут, вы не сможете продвинуться в этом путешествии телекинеза.

Три шага к изучению телекинеза

Развивая свои телекинетические способности, вы хотите сосредоточиться на этих трех шагах:

1. Сосредоточьтесь на объекте, который хотите переместить, в течение примерно 10 минут, пока не почувствуете, что он стал частью вас.
2. Визуализируйте в своем уме объект, движущийся так, как вам нравится - изгибается ли он, левитирует или просто движется.
3. Не применяя силу, попробуйте переместить объект.

Это основные шаги в практике телекинеза, и вы хотите работать над ними каждый день. Мы также рекомендуем вам каждый день записывать, как долго вы медитируете, свои чувства, смогли ли вы переместить объект, какие упражнения вы использовали и т. Д. Вся эта информация будет полезна для вашего прогресса.

Развитие телекинеза: упражнения на пробу

Начинайте каждый день с разминки, чтобы укрепить и активизировать вашу концентрацию и визуализацию. Метод пси-шара - хороший и простой способ попробовать. Просто согрейте руки 1-2 минуты, потирая их друг о друга. Здесь вы заряжаете энергетическое поле между двумя руками.

Примерно через минуту разведите руки в стороны и почувствуйте эту энергию. Основываясь на ощущениях, которые вы получаете, сформируйте шар и сконцентрируйтесь на этой связи.Вы чувствуете сильную или недельную энергию? Тепло или холодно? Это толкает или тянет? Поэкспериментируйте с этим упражнением каждый день и сосредоточьтесь на ощущениях.

Вот еще несколько упражнений, которые вы хотите попробовать:

• Ручка Roll & Pull. Все, что вам понадобится для этого занятия, - это ручка и плоская поверхность. Положите ручку на плоскую поверхность, сядьте прямо, немного подышите, а затем начните выполнять 3 основных шага ТЗ. Цель здесь - использовать свою энергию, чтобы перемещать ручку по столу.
• Пробка. Для этого упражнения вам понадобится пробка или плавучий предмет и таз с водой. Используя те же действия, что и рулон ручки и потяните, вы хотите, чтобы пробка переместилась с одной стороны миски на другую.
• Маятник. Сделайте свой собственный маятник из веревки и кольца (без драгоценных камней). Если у вас нет кольца, воспользуйтесь ключом. Пока там висит ключ или кольцо, используйте концентрацию и визуализацию, чтобы перемещать их вперед и назад.
• Перо и банка. Этот метод отлично подходит для левитации объектов. Все, что вам нужно, это банка с крышкой и перо. Поместите перо в чистую сухую банку. Во избежание попадания воздуха плотно закройте крышку. Ваша цель здесь - использовать ТЗ, чтобы перышко парило или двигалось.
• Пламя свечи. Это классное упражнение, которое можно попробовать время от времени. Все, что вам нужно, это свеча и что-то, чем ее можно зажечь. Убедитесь, что все вентиляторы выключены и в вашем районе нет ветра. Зажгите свечу и постарайтесь заставить пламя прогнуться.
• Банка содовой дробленой. Это упражнение отлично подходит для более продвинутых учеников. Возьмите пустую банку из-под газировки и поставьте ее на ровную поверхность в нескольких футах от вас. Положите на него руку, но не прикасайтесь к нему. Используйте силу руки, чтобы переместить энергию, и возьмитесь за банку с газировкой. Сожмите эту энергию и раздавите банку.

Все эти упражнения можно улучшить при правильном количестве практики. Как мы упоминали ранее, это не что-то, что происходит в одночасье, поэтому вы должны быть привержены этому процессу.Работайте над своими телекинетическими способностями Работайте над своими телекинетическими способностями каждый день, выполняя одно из этих упражнений в день.

Какой бы метод вы ни выбрали в выбранный день, обязательно придерживайтесь трех основных правил телекинеза: сосредоточьтесь, визуализируйте и двигайтесь. Только тогда вы увидите настоящий прогресс.

3 распространенных ошибки при обучении перемещать объекты мысленно

Если вы только начинаете это увлекательное путешествие, вы можете стать жертвой некоторых распространенных ошибок.

Ошибка № 1

Ошибка номер один и, возможно, самая большая из них - это позволить другим убедить вас в том, что телекинез - ненастоящий.

Если вы поверите в это, нет никакой надежды на развитие своих способностей. Если вы не верите, что что-то возможно, вы никогда этого не добьетесь. Вот почему вам нужно твердо верить в телекинез, чтобы научиться ему. Помните, что если что-то невозможно для некоторых людей, это не значит, что это будет невозможно для вас.

Вы также столкнетесь с некоторыми препятствиями, например, когда люди захотят, чтобы вы доказали, что телекинез - это реальность. Они попросят вас переместить объект или доказать, что он настоящий. Развлекать их - не ваша работа, поэтому не попадитесь в их ловушку. Они только хотят оторвать вас и отговорить.

Ошибка № 2

Вторая ошибка, которой вы, вероятно, станете жертвой, - это слишком быстрое ожидание больших результатов. Да, мы видели фильмы, в которых кто-то может управлять автомобилем мысленно, однако не ожидайте, что у вас это получится за считанные дни.

Искусство телекинеза - это процесс. Это путешествие, которому нужно научиться, чтобы не впадать в уныние. Вы не увидите значительных результатов за 10 минут, поэтому имейте в виду, что этот процесс различается по продолжительности для всех.

У всех разные умственные способности, и вы должны развивать их день за днем. Если вы будете следовать советам этого руководства, вы станете на пути к величию!

Ошибка № 3

Последняя ошибка, на которую мы замечаем, многие люди быстро сдаются.Когда это происходит, всегда прискорбно, потому что причины обычно кроются в том, что вы не верите в свои способности или в глубине души не верите в реальность телекинеза.

Поэтому так важно полностью поверить в телекинетические способности, прежде чем научиться их использовать. Если вы чувствуете желание сдаться, возможно, пора пересмотреть свое путешествие. Вы действительно верите в телекинез? Если да, то где вы ошибаетесь?

Иногда это вопрос недостаточной практики или недостаточной концентрации.Как мы упоминали ранее в этом посте, прежде чем погрузиться в методы и действия телекинеза, подготовьтесь к предстоящему путешествию.

Если вы сдадитесь, вы никогда по-настоящему не узнаете, как далеко вы можете зайти и чего вы можете достичь.

Телекинез нельзя недооценивать

Любой может развить свою силу телекинеза, если приложит усилия. Это вопрос обучения и веры в себя. Мы надеемся, что эти советы позволили вам лучше понять телекинез и то, как вы можете научиться этой способности.

Если у вас возникнут какие-либо вопросы или если вы начали этот процесс, не стесняйтесь оставлять комментарии ниже и рассказывать нам о своем опыте работы с телекинезом.

Если вы хотите узнать больше о различных типах экстрасенсорных способностей, ознакомьтесь с нашим руководством по экстрасенсорным способностям.

:: УРОВЕНЬ + ОБУЧЕНИЕ В ПЕРЕМЕЩЕНИИ :: от PKMN-Adventures на DeviantArt

Уровни рассчитываются по-разному в зависимости от используемой формы искусства, поэтому обязательно проверьте правильный раздел при расчете прироста уровня!

Просто помните, произведение искусства должно быть вашим собственным! Никаких следов или тяжелых ссылок! Базы разрешены, но они не получают уровней, и вы должны должным образом указать создателя.

Заказные или подаренные работы получат полные уровни! Просто не забудьте должным образом указать художника.

При добавлении покемонов из других групп вам не нужно менять их прирост уровня! То, что они заработали в старой группе, здесь хорошо!

Обязательно проверьте новые системы уровней! Эти системы не имеют обратной силы, если не указано иное.

Evo / mega информацию можно найти здесь -> :: EVOLUTION + MEGAS ::

.: Artwork :.

% изображенного покемона:
+1 Headshot (<20% Drawn)
+2 Partial (20-50% Drawn, менее половины, но более чем выстрел в голову)
+4 Full Body (> Нарисовано 60%, более половины)
+2 Chibi (Тело / Дизайн стилистически упрощен для части)

-Для покемонов с «множественными телами» (например, Exeggcute и Doublade) более половины «тел» должны быть присутствует в ОДНОМ изображении, чтобы считаться Полным Тело.
-Это округление в меньшую сторону. Так что, если вы покажете 1 меч из Дублейда (50%) или 2 яйца экзеггута (40%), это будет считаться частичным.
- Во всех случаях покемона должно быть видно достаточно, чтобы сказать, кто это. Вы не можете просто закрепить хорошо окрашенное ухо и ожидать для него уровней!

+2 Затенение
-Любой стиль допустим, но должен быть заметен модам!
-Однако использование ТОЛЬКО неотредактированного градиентного слоя не учитывается.

Фоны:
+1 простые (градиент, горошек и т. Д.))
+3 Сложный (Реальная сцена с узнаваемыми деталями)

-Плоские цвета или прозрачные фоновые изображения не определяют уровни фона.
-Повторное использование готовых материалов (приложений, узоров, bgs) с минимальными изменениями (сдвиг оттенка, градиент и т. Д.) Не дает уровней.

Пониженные уровни:

-Палитра / Черно-белый / и т. Д. - Уровни уменьшены вдвое
-Эскиз - Уровни уменьшены вдвое

-Вы не получите уменьшенных уровней, если ситуация (эскиз, палитра и т. Д.) Требуется событием или подсказкой!
-Lineless art выравнивается нормально

.: Анимация Бонус :.

+2 Простая анимация (мигание, подпрыгивание и т. Д.)
-Большая часть изображения статична, бонус к кадрам не применяется.

+5 Сложная анимация (Циклы ходьбы, эволюции, движения и т. Д.)
-Получает бонус +2 за каждый ПОВТОРНЫЙ кадр!
-Пример: у вас есть бегущая сцена из 10 кадров. Если перерисовать каждый кадр (а не только ноги или одну часть тела), вы получите +20 ДОПОЛНИТЕЛЬНЫХ уровней.
-Для 3D-моделей это +2 бонус за каждый ключевой / основной кадр. Статические повороты не получают бонус анимации.

.: Написание :.

+1 уровень на 100 слов
-Круги вниз с точностью до сотни.

Все покемоны / тренеры в истории должны играть активную роль, их нельзя просто упомянуть, чтобы они спали в углу или что-то в этом роде!

.: 3D моделирование :.

При 3D-моделировании вы следуете общим уровням иллюстраций и добавляете нижеприведенные!

+20 Нетекстурированные / окрашенные модели
+30 Фактурные / окрашенные модели

-Так, при подсчете уровней для 3D-моделирования это выглядит следующим образом:
Пример.Раскрашенная 3D-модель всего тела, без анимации:
3 + 2 + 30 = 35 уровней

.: Ремесленные изделия :.

Это касается любых произведений искусства, не упомянутых выше. Ремесленные ремесла включают: лепку, вязание крючком, плюшевые игрушки, валяние иглой и т. Д. Если вы сделаете что-то вроде жемчужных бусин, они подпадут под обычные уровни.

+10 Artisan Craft

Тем не менее, вам может потребоваться больше наград в зависимости от среды! Пожалуйста, сообщите нам о проделанной работе, чтобы мы могли дать вам уровень, которого вы заслуживаете!

.: Общие бонусы :.

Их можно применить к любому виду искусства.

+2 Бонус тренера
- Применяется только к ОДНОМУ покемону в данной работе
- Должно быть изображено более 50% их тела
- В письменной форме, должно играть активную роль в истории
- Накапливается, поэтому, если у вас есть два тренера, вы получаете +4 бонуса!
-Ваш покемон может получить выгоду только от ваших тренеров, а тренер другого пользователя может принести пользу только покемону, владельцем которого является пользователь

+2 Meme Bonus
-Награждается каждому участвующему покемону!
-Пустые мемы здесь!

+2 Gift / Cameo Bonus
-Это для включения покемонов другого участника в вашу работу или подарков
-Этот бонус может быть предоставлен любому изображенному покемону, вашему или чьему-либо другому, даже если они не появлялись в подарочной упаковке!
-Для подсчета вы должны , а не получать какие-либо выплаты взамен.
-Вы получаете бонус за разных покемонов.
-Итак, если нарисовать одного покемона 3 раза, это бонус +2
-Нарисовка 3 разных покемонов один раз - это бонус +6!
-Если это месяц рождения владельца, то подарочный бонус удваивается! Проверьте здесь: :: РЕГИСТРАЦИЯ НА ДЕНЬ РОЖДЕНИЯ ::

Хотите дать своему покемону новые шикарные приемы, чтобы показать себя в бою или соревнованиях? Что ж, не смотрите дальше!

-В этой группе покемоны не ограничены 4 ходами. Они могут узнать столько, сколько захотите! Просто убедитесь, что выполняете правильные действия!
-Movepool взят из самой последней игры про покемонов основной серии (Gen 8 / SWSH), если она доступна.
-Если поколение 8 недоступно, используйте комбинированный ходовой пул USUM + Let's Go.

- Движения и другую информацию можно найти по адресу: Bulbapedia

- Все покемоны, когда родились, получают все движения, указанные как известные на уровне 1 или 0 на бульбапедии. В случае гибридов вы объединяете списки.
-Если вы получаете развитого покемона в результате сафари или других подобных средств, то же самое относится и к ним. Возьмите ходы с их текущего этапа, эти списки могут быть довольно длинными!

-Покемон может изучать новые движения только на своей текущей стадии, если вы хотите научить их движению, только их предварительно развитая форма может выучить, вы должны использовать учебное руководство.
- То же самое и для вариантов Echo. Они могут только выучить характерный ход своего текущего этапа!

-Движения можно изучить независимо от уровня. Синдаквила прямо из яйца можно научить аду!

.: Требования к обучению :.

Иллюстрации
-2 изображения покемона, обучающегося движению, в обычном цвете в полный рост. Затенение / BG необязательно. Эскизы не разрешены.

Написание
-500 слов минимум о покемоне, обучающемся ходу.

Любой из этих методов можно использовать для изучения ходов в пуле Level Up ИЛИ в пуле TM / HM . Кроме того, смешанные покемоны могут изучать движения по своему смешанному типу.
-Egg, Move Tutor и движения за пределами их набора движений изучаются с помощью учебного пособия.

.: Другие методы :.

-Направляйте журнал :: ИСПОЛЬЗОВАНИЕ ЭЛЕМЕНТОВ ::, чтобы обучать движениям с помощью технических машин и учебных пособий.

-Technical Machines может обучать движениям из набора движений уровня вверх и набора движений tm / hm, без рисования или письма!
-Также вы можете обучить смешанным движениям смешивать покемонов!

-Руководство по обучению можно использовать для обучения движениям яйца, движениям наставника и движениям за пределами текущего набора движений покемона.

-Раз в неделю вы можете посещать :: УЧЕБНЫЕ ПЛОЩАДКИ ZIRCON CITY :: чтобы научить своего покемона ходу из набора движений вверх или смешанному движению, бесплатно!

Заставляем робота учиться двигаться, часть 2 - обучение с подкреплением в реальном, диком мире | Норман Ди Пало

Устранение узких мест физического мира.

Это вторая часть серии постов. Вы можете найти здесь Intro и Part 1 , около Evolutionary Algorithms . Вы можете найти код для описанных алгоритмов и экспериментов в this GitHub репозиторий .

В последние годы обучение с подкреплением приобрело новое значение. Различные прорывы и замечательные результаты привлекли внимание всего научного сообщества и даже поп-культуры: от AlphaGo до DQN применительно к Atari и до совсем недавнего бота OpenAI DOTA 2 .

Новые алгоритмы и архитектуры выпускаются с огромной скоростью, опережая самые современные результаты и решая новые задачи. Эти алгоритмы очень хорошо работают даже в смоделированных физических мирах, где гуманоиды и животные, похожие на модели, учатся ходить, прыгать, избегать препятствий, как недавно показал DeepMind .

Но у большинства этих результатов есть одна общая черта: они требуют большой вычислительной мощности , раз , и они выполняются на виртуальных или смоделированных мирах . Для получения хороших результатов необходимы сотни тысяч эпизодов, и это часто не проблема, благодаря появлению в последнее время высокопроизводительных компьютеров. Но что происходит, когда обучение с подкреплением соответствует времени стоит и проблемам реального мира ? Сработают ли эти алгоритмы, если их запустить, например, на сотню серий? Отчасти это то, что мы пытались проанализировать в области робототехники.

[…] мы работали с упором на получение хороших результатов в очень короткие сроки.

Как объясняется в моих предыдущих сообщениях, задача, которую мы с моим коллегой пытались решить, заключалась в том, чтобы найти способы заставить робот-манипулятор как можно точнее следовать заданной траектории , не зная его физических параметров. Мы решили реализовать интеллектуальных алгоритмов управления , чтобы сравнить их с классическими контроллерами с обратной связью, прежде всего с обычным ФД.Все алгоритмы работают параллельно с контроллером обратной связи ЧР, пытаясь улучшить его производительность, создавая более интеллектуальный контроллер.

Так как робот не знает своих динамических параметров, он не знает, какие крутящие моменты необходимо приложить к его суставам для достижения желаемого движения. Таким образом, ошибка в движении - это , а не , , дифференцируемая , например, в параметрах аппроксиматора функции, такого как нейронная сеть, как я обсуждал в Part 1. Проблемы такого рода, когда агент должен попробовать Действия и изучить , ощущая их неизвестное влияние на среду, является общей настройкой для обучения с подкреплением, поэтому мы попытались реализовать некоторые алгоритмы RL среди других обсуждаемых методов. в других постах.

Я не буду вводить с нуля теорию обучения с подкреплением, чтобы сделать этот пост короче и читабельнее, но есть действительно много ресурсов, чтобы узнать об этом, в том числе и на Medium.

Мы реализовали два основных алгоритма. Один из них - Q - Learning , алгоритм дискретных действий, который мы использовали для настройки в реальном времени коэффициентов усиления контроллера PD во время движения робота. Второй - Actor - Critic , еще один очень популярный алгоритм, используемый для поиска политики, на этот раз для непрерывных действий, которая контролирует крутящие моменты в соединениях.

Все подробности реализации есть в репозитории GitHub.

Перемещение робота-манипулятора подразумевает нахождение правильных крутящих моментов для ввода в суставы, которые имеют постоянные значения в определенном диапазоне.Q-Learning, с другой стороны, представляет собой алгоритм, который изучает значение Q дискретных действий в состоянии, Q (s, a), , чтобы выполнить действие, которое, как ожидается, принесет наибольшее вознаграждение (точнее, самый высокий общий доход в соответствии с политикой). Его общие версии не могут работать с большими пространствами действий, не говоря уже о пространствах непрерывных действий. Но нас заинтересовала идея динамически настраивать усиление контроллера PD по мере движения робота. Контроллер PD выдает входные крутящие моменты на основе ошибки между желаемой и фактической позицией и скоростью .Хотя этот простой линейный контроллер может давать замечательные результаты с фиксированными коэффициентами усиления P и D, которые обычно настраиваются методом проб и ошибок, идея заключалась в том, чтобы алгоритм настраивал их в реальном времени на основе движения робота, в идеале контроллер более универсальный. Классический PD является широко используемым контроллером, учитывая его простоту, но также и его хорошие характеристики, но в любом случае это контроллер с линейной обратной связью, который не использует никакой информации о траектории или других данных, а использует только значения ошибок на последнем временном шаге. .

Основная архитектура была следующей: действия сводились к увеличению или уменьшению приростов P и D независимо от фиксированной суммы. Интуиция заключалась в том, чтобы использовать в качестве состояния текущее состояние робота вместе с эволюцией ошибок на последних шагах. Чтобы аппроксимировать Q-функции, мы использовали нейронные сети: входными данными были значения состояния, как описано ранее, а выходными данными сетей были значения Q для различных действий. Общее вознаграждение было вычислено только в коротком временном диапазоне из 10 шагов , поэтому основная цель алгоритма состояла в том, чтобы получить наивысшее вознаграждение в этом диапазоне , выбрав обновление для выигрышей.В качестве вознаграждения мы реализовали вместо отрицательной ошибки в положении и скорости (более высокая ошибка -> более низкая награда) разница между предыдущей ошибкой в ​​диапазоне предыдущих шагов и текущей. Это было сделано для частичного декорреляции производительности на различных диапазонах шагов: если алгоритм плохо работает во время обучения в конкретном диапазоне шагов, ошибка будет очевидно большой и на следующих шагах, поскольку робот движется постоянно, даже если в На следующих шагах алгоритм выбрал хорошее действие, которое может быть наказано без уважительной причины.Таким образом, если мы рассматриваем только относительных улучшений между короткими последующими ситуациями, мы действительно можем использовать хорошие действия.

Как я писал во введении, мы работали с основным направлением получения хороших результатов - это очень короткий промежуток времени , что-то около 100 эпизодов на полную траекторию. В противном случае алгоритм может стать неосуществимым для физического мира и будет уступать другим алгоритмам управления, таким как Модель Прогнозирующий Контроль или Итеративное обучение .

Мы выполнили большое количество экспериментов по настройке архитектур и гиперпараметров, но конечные результаты часто заключались в том, что алгоритм постоянно увеличивает прирост . Это имеет смысл, поскольку в теории управления хорошо известно, что более высокие коэффициенты усиления часто приводят к лучшим характеристикам, но высокие коэффициенты усиления подразумевают высокое энергопотребление и иногда превышение пределов двигателя. Мы пытались заставить алгоритм изучить более непредсказуемые способы настройки выигрыша в реальном времени, которые позволили получить лучшие характеристики с меньшими затратами энергии, но эта конкретная среда с заданными траекториями на самом деле не дала этих результатов, подтверждая некоторые известные эмпирические концепции. в теории управления изучил без каких-либо предварительных знаний с помощью алгоритма.

Второй тип алгоритма, который мы реализовали, - это алгоритм-критик, чтобы изучить детерминированную политику действий (затем мы также экспериментировали со стохастической политикой). Идея проста: вдохновленные другими статьями, мы решили разработать архитектуру «субъект-критик» для каждого сустава независимо, чтобы изучить детерминированную политику, которая позволила бы роботу более точно следовать траектории, компенсируя слабые места контроллера PD. В недавней магистерской диссертации были показаны интересные результаты на роботе 6R, использующем аналогичную архитектуру, с лучшими общими характеристиками, чем у классических алгоритмов обучения в теории управления.

Реализация различных политик «субъект-критик» для каждого соединения делает алгоритм более масштабируемым, но также может быть более сложной задачей для изучения сложных динамических связей соединений в этой децентрализованной архитектуре.

Общая архитектура была следующей: для извлечения признаков из состояния робота мы разработали двумерный массив радиальных базисных функций Гауссиана. Число гауссианов было выбрано эмпирически, а также средние и отклонения. Входом в этот массив для каждого сочленения была ошибка положения и скорости.Затем различные выходные значения RBF отправлялись в качестве входных данных на полностью связанный слой (то есть взвешенная сумма) для создания крутящего момента, используемого в соединении. Затем эти веса были настроены алгоритмом.

В качестве сигнала исследовательского , добавленного к сигналу исполнителя, чтобы попробовать различные действия, мы использовали сумму синусоиды на разных частотах вместо классического белого гауссовского шума, поскольку физический робот фактически не может генерировать белый шум крутящий момент из-за высоких гармоник (« белый » относится к наличию всех видов частот в спектре, в то время как физическая система всегда является системой нижних частот).

Наши эксперименты показали, что такие алгоритмы могут быть очень нестабильными, , как это известно в литературе по RL. Явная конвергенция ошибки к низким значениям может резко увеличиться на самых последних этапах. Многие недавние статьи, такие как знаменитый алгоритм DDPG , предлагают уловки, чтобы сделать обучение более стабильным, например две сети как для Актера, так и для Критика с разными обновлениями времени для вычисления цели , и эпизодическая память , , - очень известный метод в недавней литературе по RL, который позволяет декоррелировать переживания, сохраняя их в структуре данных и затем используя их в стохастическом порядке для фактического обновления политики.

В то время как в качестве теста наш алгоритм смог решить известные среды Gym , , такие как Mountain Car, , фаза обучения на роботе была довольно нестабильной, и алгоритм не мог улучшить производительность робот за короткое время, за исключением робота с 1 или 2 суставами. Мы пробовали много экспериментов с разными архитектурами и гиперпараметрами, но не смогли повторить результаты проанализированной статьи.Мы подозреваем, что одна из основных причин заключается в том, что робот, использованный в этом случае, управлялся со скоростью со скоростью и имел встроенный низкоуровневый контроллер для ускорения, таким образом решая многие проблемы, связанные с инерцией, в то время как мы управляли роботом напрямую. в ускорении без какого-либо другого контроллера низкого уровня.

Все эксперименты подтвердили, насколько сложен физический мир для алгоритмов, которые хорошо работают при моделировании.

В то время мы не исследовали проблемы дальше, так как другой метод, который я представлю в следующем посте, дал замечательные результаты за очень короткое время обучения, но мне интересно изучить различные методы для этой задачи в будущее.

Все эксперименты подтвердили, насколько сложен физический мир для алгоритмов, которые хорошо работают при моделировании.Задержки по времени, возникающие при выполнении реальных траекторий на роботе, являются узким местом, о котором часто забывают при использовании смоделированных физических миров. В этих областях ведутся активные исследования, которые часто приводят к исследованию « учится учиться », то есть методов для роботов изучать новые задачи и способности с помощью простых примеров, таких как недавний пост в блоге и статья OpenAI.

В следующем посте я покажу другую технику, основанную на обучении динамической модели на основе обратной связи с нейронными сетями базовых функций, , которая дала замечательные результаты.

Вы можете найти код всех экспериментов в этом репозитории GitHub .

Смотрите также

• 
  Как научиться говорить белым стихом
• 
  Как научиться радоваться мелочам в жизни
• 
  Как научиться правильно нырять в воду
• 
  Как научиться экономить деньги и копить таблица
• 
  Как научиться не привязываться к мужчинам
• 
  Как научиться делать губы уточкой
• 
  Как научиться токарному делу
• 
  Как научиться думать о себе в первую очередь
• 
  Как научиться управлять своим вниманием
• 
  Как научиться расслаблять мышцы тела
• 
  Как научиться не выносить мозг парню