`

Timezone: »

 
Poster
Iterative Amortized Policy Optimization
Joe Marino · Alexandre Piche · Alessandro Davide Ialongo · Yisong Yue

Tue Dec 07 08:30 AM -- 10:00 AM (PST) @ None #None

Policy networks are a central feature of deep reinforcement learning (RL) algorithms for continuous control, enabling the estimation and sampling of high-value actions. From the variational inference perspective on RL, policy networks, when used with entropy or KL regularization, are a form of amortized optimization, optimizing network parameters rather than the policy distributions directly. However, direct amortized mappings can yield suboptimal policy estimates and restricted distributions, limiting performance and exploration. Given this perspective, we consider the more flexible class of iterative amortized optimizers. We demonstrate that the resulting technique, iterative amortized policy optimization, yields performance improvements over direct amortization on benchmark continuous control tasks.

Author Information

Joe Marino (DeepMind)
Alexandre Piche (Mila)
Alessandro Davide Ialongo (University of Cambridge)
Yisong Yue (Caltech)

More from the Same Authors

  • 2021 : The Multi-Agent Behavior Dataset: Mouse Dyadic Social Interactions »
    Jennifer Sun · Tomomi Karigo · Dipam Chakraborty · Sharada Mohanty · Benjamin Wild · Quan Sun · Chen Chen · David Anderson · Pietro Perona · Yisong Yue · Ann Kennedy
  • 2021 : The Caltech Off-Policy Policy Evaluation Benchmarking Suite »
    Cameron Voloshin · Hoang Le · Nan Jiang · Yisong Yue
  • 2021 : Beyond Target Networks: Improving Deep $Q$-learning with Functional Regularization »
    Alexandre Piche · Joe Marino · Gian Maria Marconi · Valentin Thomas · Chris Pal · Emtiyaz Khan
  • 2021 : Panel B: Safe Learning and Decision Making in Uncertain and Unstructured Environments »
    Yisong Yue · J. Zico Kolter · Ivan D Jimenez Rodriguez
  • 2021 : Learning for Agile Control in the Real World: Challenges and Opportunities »
    Yisong Yue · Ivan D Jimenez Rodriguez
  • 2021 Poster: Meta-Adaptive Nonlinear Control: Theory and Algorithms »
    Guanya Shi · Kamyar Azizzadenesheli · Mike O'Connell · Soon-Jo Chung · Yisong Yue
  • 2021 Poster: DeepGEM: Generalized Expectation-Maximization for Blind Inversion »
    Angela Gao · Jorge Castellanos · Yisong Yue · Zachary Ross · Katherine Bouman
  • 2020 Workshop: Learning Meets Combinatorial Algorithms »
    Marin Vlastelica · Jialin Song · Aaron Ferber · Brandon Amos · Georg Martius · Bistra Dilkina · Yisong Yue
  • 2020 Poster: Online Optimization with Memory and Competitive Control »
    Guanya Shi · Yiheng Lin · Soon-Jo Chung · Yisong Yue · Adam Wierman
  • 2020 Poster: A General Large Neighborhood Search Framework for Solving Integer Linear Programs »
    Jialin Song · ANANTHA lanka · Yisong Yue · Bistra Dilkina
  • 2020 Poster: Learning compositional functions via multiplicative weight updates »
    Jeremy Bernstein · Jiawei Zhao · Markus Meister · Ming-Yu Liu · Anima Anandkumar · Yisong Yue
  • 2020 Poster: Learning Differentiable Programs with Admissible Neural Heuristics »
    Ameesh Shah · Eric Zhan · Jennifer Sun · Abhinav Verma · Yisong Yue · Swarat Chaudhuri
  • 2020 Poster: On the distance between two neural networks and the stability of learning »
    Jeremy Bernstein · Arash Vahdat · Yisong Yue · Ming-Yu Liu
  • 2020 Poster: The Power of Predictions in Online Control »
    Chenkai Yu · Guanya Shi · Soon-Jo Chung · Yisong Yue · Adam Wierman
  • 2019 : Poster Session »
    Pravish Sainath · Mohamed Akrout · Charles Delahunt · Nathan Kutz · Guangyu Robert Yang · Joe Marino · L F Abbott · Nicolas Vecoven · Damien Ernst · andrew warrington · Michael Kagan · Kyunghyun Cho · Kameron Harris · Leopold Grinberg · John J. Hopfield · Dmitry Krotov · Taliah Muhammad · Erick Cobos · Edgar Walker · Jacob Reimer · Andreas Tolias · Alexander Ecker · Janaki Sheth · Yu Zhang · Maciej Wołczyk · Jacek Tabor · Szymon Maszke · Roman Pogodin · Dane Corneil · Wulfram Gerstner · Baihan Lin · Guillermo Cecchi · Jenna M Reinen · Irina Rish · Guillaume Bellec · Darjan Salaj · Anand Subramoney · Wolfgang Maass · Yueqi Wang · Ari Pakman · Jin Hyung Lee · Liam Paninski · Bryan Tripp · Colin Graber · Alex Schwing · Luke Prince · Gabriel Ocker · Michael Buice · Ben Lansdell · Konrad Kording · Jack Lindsey · Terrence Sejnowski · Matthew Farrell · Eric Shea-Brown · Nicolas Farrugia · Victor Nepveu · Daniel Im · Kristin Branson · Brian Hu · Ram Iyer · Stefan Mihalas · Sneha Aenugu · Hananel Hazan · Sophie Dai · Tan Nguyen · Ying Tsao · Richard Baraniuk · Anima Anandkumar · Hidenori Tanaka · Aran Nayebi · Stephen Baccus · Surya Ganguli · Dean Pospisil · Eilif Muller · Jeffrey S Cheng · Gaël Varoquaux · Kamalaker Dadi · Dimitrios C Gklezakos · Rajesh PN Rao · Anand Louis · Christos Papadimitriou · Santosh Vempala · Naganand Yadati · Daniel Zdeblick · Daniela M Witten · Nick Roberts · Vinay Prabhu · Pierre Bellec · Poornima Ramesh · Jakob H Macke · Santiago Cadena · Guillaume Bellec · Franz Scherr · Owen Marschall · Robert Kim · Hannes Rapp · Marcio Fonseca · Oliver Armitage · Jiwoong Im · Thomas Hardcastle · Abhishek Sharma · Wyeth Bair · Adrian Valente · Shane Shang · Merav Stern · Rutuja Patil · Peter Wang · Sruthi Gorantla · Peter Stratton · Tristan Edwards · Jialin Lu · Martin Ester · Yurii Vlasov · Siavash Golkar
  • 2019 : Poster Session »
    Matthia Sabatelli · Adam Stooke · Amir Abdi · Paulo Rauber · Leonard Adolphs · Ian Osband · Hardik Meisheri · Karol Kurach · Johannes Ackermann · Matt Benatan · GUO ZHANG · Chen Tessler · Dinghan Shen · Mikayel Samvelyan · Riashat Islam · Murtaza Dalal · Luke Harries · Andrey Kurenkov · Konrad Żołna · Sudeep Dasari · Kristian Hartikainen · Ofir Nachum · Kimin Lee · Markus Holzleitner · Vu Nguyen · Francis Song · Christopher Grimm · Leno Silva · Yuping Luo · Yifan Wu · Alex Lee · Thomas Paine · Wei-Yang Qu · Daniel Graves · Yannis Flet-Berliac · Yunhao Tang · Suraj Nair · Matthew Hausknecht · Akhil Bagaria · Simon Schmitt · Bowen Baker · Paavo Parmas · Benjamin Eysenbach · Lisa Lee · Siyu Lin · Daniel Seita · Abhishek Gupta · Riley Simmons-Edler · Yijie Guo · Kevin Corder · Vikash Kumar · Scott Fujimoto · Adam Lerer · Ignasi Clavera Gilaberte · Nick Rhinehart · Ashvin Nair · Ge Yang · Lingxiao Wang · Sungryull Sohn · JFernando Hernandez-Garcia · Xian Yeow Lee · Rupesh Srivastava · Khimya Khetarpal · Chenjun Xiao · Luckeciano Carvalho Melo · Rishabh Agarwal · Tianhe (Kevin) Yu · Glen Berseth · Devendra Singh Chaplot · Jie Tang · Anirudh Srinivasan · Tharun Medini · Aaron Havens · Misha Laskin · Asier Mujika · Rohan Saphal · Joe Marino · Alex Ray · Joshua Achiam · Ajay Mandlekar · Zhuang Liu · Danijar Hafner · Zhiwen Tang · Ted Xiao · Michael Walton · Jeff Druce · Ferran Alet · Zhang-Wei Hong · Stephanie Chan · Anusha Nagabandi · Hao Liu · Hao Sun · Ge Liu · Dinesh Jayaraman · JD Co-Reyes · Sophia Sanborn
  • 2019 Workshop: Safety and Robustness in Decision-making »
    Mohammad Ghavamzadeh · Shie Mannor · Yisong Yue · Marek Petrik · Yinlam Chow
  • 2019 Poster: Imitation-Projected Programmatic Reinforcement Learning »
    Abhinav Verma · Hoang Le · Yisong Yue · Swarat Chaudhuri
  • 2019 Poster: NAOMI: Non-Autoregressive Multiresolution Sequence Imputation »
    Yukai Liu · Rose Yu · Stephan Zheng · Eric Zhan · Yisong Yue
  • 2019 Poster: Teaching Multiple Concepts to a Forgetful Learner »
    Anette Hunziker · Yuxin Chen · Oisin Mac Aodha · Manuel Gomez Rodriguez · Andreas Krause · Pietro Perona · Yisong Yue · Adish Singla
  • 2019 Poster: Landmark Ordinal Embedding »
    Nikhil Ghosh · Yuxin Chen · Yisong Yue
  • 2018 : Poster Session 1 »
    Kyle H Ambert · Brandon Araki · Xiya Cao · Sungjoon Choi · Hao(Jackson) Cui · Jonas Degrave · Yaqi Duan · Mattie Fellows · Carlos Florensa · Karan Goel · Aditya Gopalan · Ming-Xu Huang · Jonathan Hunt · Cyril Ibrahim · Brian Ichter · Max Igl · Tracy Ke Ke · Igor Kiselev · Anuj Mahajan · Arash Mehrjou · Karl Pertsch · Alexandre Piche · Nick Rhinehart · Thomas Ringstrom · Reaz Russel · Oleh Rybkin · Ion Stoica · Sharad Vikram · Angelina Wang · Ting-Han Wei · Abigail H Wen · I-Chen Wu · Zhengwei Wu · Linhai Xie · Dinghan Shen
  • 2018 : Probabilistic Planning with Sequential Monte Carlo (Alexandre Piché) »
    Alexandre Piche
  • 2018 : Yisong Yue »
    Yisong Yue
  • 2018 Poster: Understanding the Role of Adaptivity in Machine Teaching: The Case of Version Space Learners »
    Yuxin Chen · Adish Singla · Oisin Mac Aodha · Pietro Perona · Yisong Yue
  • 2018 Poster: A General Method for Amortizing Variational Filtering »
    Joe Marino · Milan Cvitkovic · Yisong Yue
  • 2017 : Coffee break and Poster Session II »
    Mohamed Kane · Albert Haque · Vagelis Papalexakis · John Guibas · Peter Li · Carlos Arias · Eric Nalisnick · Padhraic Smyth · Frank Rudzicz · Xia Zhu · Ted Willke · Noemie Elhadad · hansisnow Raffauf · hsuresh Suresh · Paroma Varma · Yisong Yue · Oggi Rudovic · Evidation Foschini · Syed Rameel Ahmad · Hasham ul Haq · Valerio Maggio · Giuseppe Jurman · Sonali Parbhoo · Pouya Bashivan · Jyoti Islam · Mirco Musolesi · Chris Wu · Alexander Ratner · Jared Dunnmon · Cristóbal Esteban · Aram Galstyan · Greg Ver Steeg · Hrant Khachatrian · Marc Górriz · Mihaela van der Schaar · Anton Nemchenko · Manasi Patwardhan · Tanay Tandon
  • 2016 Poster: Generating Long-term Trajectories Using Deep Hierarchical Networks »
    Stephan Zheng · Yisong Yue · Patrick Lucey
  • 2015 Poster: Smooth Interactive Submodular Set Cover »
    Bryan He · Yisong Yue
  • 2015 Demonstration: Data-Driven Speech Animation »
    Yisong Yue · Iain Matthews