E R C I M   N E W S   1 0 7   O c t o b e r   2 0 1 6 1 8  S p e c i a l   T h e m e :   M a c h i n e   L e a r n i n g  W a t c h i n g   a   c h i l d   l e a r n   r e v e a l s   h o w   w e l l  h u m a n s   c a n   l e a r n :   a   c h i l d   m a y   o n l y   n e e d  a   f e w   e x a m p l e s   o f   a   c o n c e p t   t o   “ l e a r n   i t ” .  B y   c o n t r a s t ,   t h e   i m p r e s s i v e   r e s u l t s  a c h i e v e d   w i t h   m o d e r n   m a c h i n e   l e a r n i n g  ( i n   p a r t i c u l a r ,   b y   d e e p   l e a r n i n g )   a r e   m a d e  p o s s i b l e   l a r g e l y   b y   t h e   u s e   o f   h u g e  d a t a s e t s .   F o r   i n s t a n c e ,   t h e   I m a g e N e t   d a t a -  b a s e   u s e d   i n   i m a g e   r e c o g n i t i o n   c o n t a i n s  a b o u t   1 . 2   m i l l i o n   l a b e l l e d   e x a m p l e s ;  D e e p M i n d s ' s   A l p h a G o   u s e d   m o r e   t h a n   3 8  m i l l i o n   p o s i t i o n s   t o   t r a i n   t h e i r   a l g o r i t h m  t o   p l a y   G o ;   a n d   t h e   s a m e   c o m p a n y   u s e d  m o r e   t h a n   3 8   d a y s   o f   p l a y   t o   t r a i n   a   n e u r a l  n e t w o r k   t o   p l a y   A t a r i   2 6 0 0   g a m e s ,   s u c h  a s   S p a c e   I n v a d e r s   o r   B r e a k o u t .  L i k e   c h i l d r e n ,   r o b o t s   h a v e   t o   f a c e   t h e  r e a l   w o r l d ,   i n   w h i c h   t r y i n g   s o m e t h i n g  m i g h t   t a k e   s e c o n d s ,   h o u r s ,   o r   d a y s .   A n d  s e e i n g   t h e   c o n s e q u e n c e   o f   t h i s   t r i a l  m i g h t   t a k e   m u c h   m o r e .   W h e n   r o b o t s  s h a r e   o u r   w o r l d ,   t h e y   a r e   e x p e c t e d   t o  l e a r n   l i k e   h u m a n s   o r   a n i m a l s ,   t h a t   i s ,   i n  f a r   f e w e r   t h a n   a   m i l l i o n   t r i a l s .   R o b o t s  a r e   n o t   a l o n e   t o   b e   c u r s e d   b y   t h e   p r i c e   o f  d a t a :   A n y   l e a r n i n g   p r o c e s s   t h a t   i n v o l v e s  p h y s i c a l   t e s t s   o r   p r e c i s e   s i m u l a t i o n s  ( e . g . ,   c o m p u t a t i o n a l   f l u i d   d y n a m i c s )  c o m e s   u p   a g a i n s t   t h e   s a m e   i s s u e .   I n  s h o r t ,   w h i l e   d a t a   m i g h t   b e   a b u n d a n t   i n  t h e   v i r t u a l   w o r l d ,   i t   i s   o f t e n   a   s c a r c e  r e s o u r c e   i n   t h e   p h y s i c a l   w o r l d .   I   r e f e r   t o  t h i s   c h a l l e n g e   a s   “ m i c r o - d a t a ”   l e a r n i n g  ( s e e   F i g u r e   1 ) .  T h e   f i r s t   p r e c e p t   o f   m i c r o - d a t a   l e a r n i n g  i s   t o   c h o o s e   a s   w i s e l y   a s   p o s s i b l e   w h a t   t o  t e s t   n e x t   ( a c t i v e   l e a r n i n g ) .   S i n c e   c o m p u -  t a t i o n   t e n d s   t o   b e c o m e   c h e a p e r   e v e r y  y e a r ,   i t   i s   o f t e n   e f f e c t i v e   t o   t r a d e   d a t a  r e s o u r c e s   f o r   c o m p u t a t i o n a l   r e s o u r c e s ,  t h a t   i s ,   t o   e m p l o y   c o m p u t a t i o n a l l y   i n t e n -  s i v e   a l g o r i t h m s   t o   s e l e c t   t h e   n e x t   d a t a  p o i n t   t o   a c q u i r e .   B a y e s i a n   o p t i m i s a t i o n  [ 1 ]   i s   s u c h   a   d a t a - e f f i c i e n t   a l g o r i t h m   t h a t  h a s   r e c e n t l y   a t t r a c t e d   a   l o t   o f   i n t e r e s t   i n  t h e   m a c h i n e   l e a r n i n g   c o m m u n i t y .   U s i n g  t h e   d a t a   a c q u i r e d   s o   f a r ,   t h i s   a l g o r i t h m  c r e a t e s   a   p r o b a b i l i s t i c   m o d e l   o f   t h e   f u n c -  t i o n   t h a t   n e e d s   t o   b e   o p t i m i s e d   ( e . g . ,   t h e  w a l k i n g   s p e e d   o f   a   r o b o t   o r   t h e   l i f t   g e n -  e r a t e d   b y   a n   a i r f o i l ) ;   i t   t h e n   e x p l o i t s   t h i s  m o d e l   t o   i d e n t i f y   t h e   m o s t   p r o m i s i n g  p o i n t s   o f   t h e   s e a r c h   s p a c e .   I t   c a n ,   f o r  e x a m p l e ,   f i n d   g o o d   v a l u e s   f o r   t h e   g a i t  o f   a   q u a d r u p e d   r o b o t   ( S o n y   A i b o   /   1 5  p a r a m e t e r s   t o   l e a r n )   i n   j u s t   t w o   h o u r s   o f  l e a r n i n g .  T h e   s e c o n d   p r e c e p t   o f   m i c r o - d a t a  l e a r n i n g   i s   t o   e x p l o i t   e v e r y   b i t   o f   i n f o r -  m a t i o n   f r o m   e a c h   t e s t .   F o r   i n s t a n c e ,  w h e n   a   r o b o t i c   a r m   t r i e s   t o   r e a c h   a   p o i n t  i n   s p a c e ,   t h e   l e a r n i n g   a l g o r i t h m   c a n   p e r -  f o r m   t h e   m o v e m e n t ,   t h e n ,   a t   t h e   e n d   o f  t h e   t r i a l ,   m e a s u r e   t h e   d i s t a n c e   t o   t h e  t a r g e t .   I n   t h i s   c a s e ,   e a c h   t e s t   c o r r e -  s p o n d s   t o   a   s i n g l e   d a t a   p o i n t .   H o w e v e r ,  t h e   a l g o r i t h m   c a n   a l s o   r e c o r d   t h e   p o s i -  t i o n   o f   t h e   " h a n d "   e v e r y   1 0 m s ,   t h u s   g e t -  t i n g   t h o u s a n d s   o f   d a t a   p o i n t s   f r o m   a  s i n g l e   t e s t .   T h i s   i s   a   v e r y   e f f e c t i v e  a p p r o a c h   f o r   l e a r n i n g   c o n t r o l   s t r a t e g i e s  i n   r o b o t i c s ;   f o r   e x a m p l e ,   t h e   P i l c o   a l g o -  r i t h m   c a n   l e a r n   t o   b a l a n c e   a   n o n - a c t u -  a t e d   p o l e   o n   a n   a c t u a t e d   m o v i n g   c a r t   i n  1 5 - 2 0   s e c o n d s   ( a b o u t   3 - 5   t r i a l s )   [ 2 ] .  T h e   t h i r d   p r e c e p t   o f   m i c r o - d a t a   l e a r n i n g  i s   t o   u s e   t h e   " r i g h t "   p r i o r   k n o w l e d g e .  M o s t   p r o b l e m s   a r e   i n d e e d   s i m p l y   t o o  h a r d   t o   b e   l e a r n e d   f r o m   s c r a t c h   i n   a   f e w  t r i a l s ,   e v e n   w i t h   t h e   b e s t   a l g o r i t h m s :  T h e   q u i c k   l e a r n i n g   a b i l i t y   o f   h u m a n s  a n d   a n i m a l s   i s   d u e   l a r g e l y   t o   t h e i r   p r i o r  k n o w l e d g e   a b o u t   w h a t   c o u l d   a n d   c o u l d  n o t   w o r k .   W h e n   u s i n g   p r i o r s ,   i t   i s   c r i t -  i c a l   t o   m a k e   t h e m   a s   e x p l i c i t   a s   p o s -  s i b l e ,   a n d   t o   m a k e   s u r e   t h a t   t h e   l e a r n i n g  a l g o r i t h m   c a n   q u e s t i o n   o r   e v e n   i g n o r e  t h e m .   I n   a c a d e m i c   e x a m p l e s ,   i t   c a n   a l s o  b e   c h a l l e n g i n g   t o   d i s t i n g u i s h   b e t w e e n  p r i o r   k n o w l e d g e   t h a t   i s   u s e f u l   a n d   p r i o r  k n o w l e d g e   t h a t   a c t u a l l y   g i v e s   t h e   s o l u -  M i c r o - D a t a   L e a r n i n g :  T h e   O t h e r   E n d   o f   t h e   S p e c t r u m  b y   J e a n - B a p t i s t e   M o u r e t   ( I n r i a )  M a n y   f i e l d s   a r e   n o w   s n o w e d   u n d e r   w i t h   a n   a v a l a n c h e   o f   d a t a ,   w h i c h   r a i s e s   c o n s i d e r a b l e  c h a l l e n g e s   f o r   c o m p u t e r   s c i e n t i s t s .   M e a n w h i l e ,   r o b o t i c s   ( a m o n g   o t h e r   f i e l d s )   c a n   o f t e n  o n l y   u s e   a   f e w   d o z e n   d a t a   p o i n t s   b e c a u s e   a c q u i r i n g   t h e m   i n v o l v e s   a   p r o c e s s   t h a t   i s  e x p e n s i v e   o r   t i m e - c o n s u m i n g .   H o w   c a n   a n   a l g o r i t h m   l e a r n   w i t h   o n l y   a   f e w   d a t a   p o i n t s ?  F i g u r e   1 :   M o d e r n   m a c h i n e   l e a r n i n g   ( e . g . ,   d e e p   l e a r n i n g )   i s   d e s i g n e d   t o   w o r k   w i t h   a   l a r g e  a m o u n t   o f   d a t a .   F o r   e x a m p l e ,   t h e   G o   p l a y e r   A l p h a G o   b y   D e e p M i n d   u s e d   a   d a t a s e t   o f   3 8   m i l l i o n  p o s i t i o n s ,   a n d   t h e   d e e p   r e i n f o r c e m e n t   l e a r n i n g   e x p e r i m e n t s   f r o m   t h e   s a m e   t e a m   u s e d   t h e  e q u i v a l e n t   o f   3 8   d a y s   t o   l e a r n   t o   p l a y   A t a r i   2 6 0 0   v i d e o   g a m e s .   R o b o t i c s   i s   a t   t h e   o p p o s i t e   e n d   o f  t h e   s p e c t r u m :   m o s t   o f   t h e   t i m e ,   i t   i s   d i f f i c u l t   t o   p e r f o r m   m o r e   t h a n   a   f e w   d o z e n   t r i a l s .   L e a r n i n g  w i t h   s u c h   a   s m a l l   a m o u n t   o f   d a t a   i s   w h a t   w e   t e r m   " M i c r o - d a t a   l e a r n i n g " .
E R C I M   N E W S   1 0 7   O c t o b e r   2 0 1 6   1 9  t i o n   t o   t h e   a l g o r i t h m ,   w h i c h   l e a v e s  n o t h i n g   t o   l e a r n .  W e   f o c u s e d   o n   p r i o r   k n o w l e d g e   i n   o u r  r e c e n t   a r t i c l e   a b o u t   d a m a g e   r e c o v e r y   i n  r o b o t i c s   [ 3 ,   L 1 ] .   I n   t h i s   s c e n a r i o ,   a   s i x -  l e g g e d   w a l k i n g   r o b o t   n e e d s   t o   d i s c o v e r  a   n e w   w a y   t o   w a l k   b y   t r i a l - a n d - e r r o r  b e c a u s e   i t   i s   d a m a g e d .   B e f o r e   t h e   m i s -  s i o n ,   a   n o v e l   a l g o r i t h m   e x p l o r e s   a   l a r g e  s e a r c h   s p a c e   w i t h   a   s i m u l a t i o n   o f   t h e  i n t a c t   r o b o t   t o   i d e n t i f y   t h e   m o s t   p r o m -  i s i n g   s o l u t i o n   o f   e a c h   " f a m i l y " .  M e t a p h o r i c a l l y ,   t h i s   a l g o r i t h m   t a k e s   t h e  n e e d l e s   o u t   o f   a   h a y s t a c k   t o   m a k e   a  s t a c k   o f   n e e d l e s .   I f   t h e   r o b o t   i s   d a m -  a g e d ,   t h e   l e a r n i n g   a l g o r i t h m ,   w h i c h   i s   a  d e r i v a t i v e   o f   B a y e s i a n   o p t i m i s a t i o n   [ 1 ] ,  e x p l o i t s   t h i s   p r i o r   k n o w l e d g e   t o   c h o o s e  t h e   b e s t   t r i a l s .   I n   o u r   e x p e r i m e n t s ,   t h e  r o b o t   d i s c o v e r s   c o m p e n s a t o r y   g a i t s   i n  l e s s   t h a n   t w o   m i n u t e s   a n d   a   d o z e n   t r i a l s ,  f o r   t h e   f i v e   d a m a g e   c o n d i t i o n s   t h a t   w e  t e s t e d   [ 3 ] .  I n   t h i s   l e a r n i n g   a p p r o a c h ,   a   d a t a - e f f i -  c i e n t   l e a r n i n g   a l g o r i t h m   t h a t   w o r k s   w i t h  t h e   p h y s i c a l ,   d a m a g e d   r o b o t   i s   g u i d e d  b y   p r i o r   k n o w l e d g e   b a s e d   o n   a   s i m u l a -  t i o n   o f   t h e   i n t a c t   r o b o t .   T h i s   m i c r o - d a t a  l e a r n i n g   a l g o r i t h m   m a k e s   i t   p o s s i b l e   t o  l e a r n   a   c o m p l e x   t a s k   i n   o n l y   a   f e w   t r i a l s .  T h e   s u b s e q u e n t   c h a l l e n g e   i s   t o   e x p l o i t  m o r e   k n o w l e d g e   f r o m   t h e   t r i a l s   [ 2 ]   a n d  s e l e c t   t h e   n e x t   t r i a l s   w h i l e   t a k i n g   t h e  c o n t e x t   i n t o   a c c o u n t   ( e . g . ,   p o t e n t i a l  o b s t a c l e s ) .  L i n k :  [ L 1 ]   h t t p : / / w w w . r e s i b o t s . e u  R e f e r e n c e s :  [ 1 ]   B .   S h a h r i a r i ,   e t   a l . :   “ T a k i n g   t h e  h u m a n   o u t   o f   t h e   l o o p :   A   r e v i e w   o f  b a y e s i a n   o p t i m i z a t i o n ” ,   P r o c .   o f   t h e  I E E E ,   2 0 1 6 .  [ 2 ]   M .   P .   D e i s e n r o t h ,   D .   F o x ,   C .   E .  R a s m u s s e n :   “ G a u s s i a n   p r o c e s s e s   f o r  d a t a - e f f i c i e n t   l e a r n i n g   i n   r o b o t i c s   a n d  c o n t r o l ” ,   I E E E   T r a n s .   o n   P a t t e r n  A n a l y s i s   a n d   M a c h i n e   I n t e l l i g e n c e ,  2 0 1 6 .  [ 3 ]   A .   C u l l y ,   e t   a l . :   “ R o b o t s   t h a t   c a n  a d a p t   l i k e   a n i m a l s ” ,   N a t u r e ,   2 0 1 5 .  P l e a s e   c o n t a c t :  J e a n - B a p t i s t e   M o u r e t  I n r i a ,   F r a n c e  j e a n - b a p t i s t e . m o u r e t @ i n r i a . f r  A f t e r   a   h i s t o r y   s p a n n i n g   o v e r   f i v e  d e c a d e s ,   a r t i f i c i a l   g e n e r a l   i n t e l l i g e n c e  s t i l l   r e m a i n s   o u t   o f   r e a c h .   M a c h i n e  l e a r n i n g   h a s   c o m m o n   r o o t s   w i t h   A I  r e s e a r c h ,   b u t   f o c u s e s   o n   m o r e   a t t a i n -  a b l e   g o a l s   a n d   h a s   a c h i e v e d   t r e m e n -  d o u s   s u c c e s s   i n   m a n y   a p p l i c a t i o n  f i e l d s .   S i m i l a r l y ,   a   u n i v e r s a l   q u a n t u m  c o m p u t e r   i s   s t i l l   f a r   a h e a d   i n   t h e   d i s t a n t  f u t u r e :   t h e   c r i t e r i o n   f o r   t h i s   m a c h i n e   i s  t o   b e   a b l e   t o   s i m u l a t e   a n   a r b i t r a r y  c l o s e d   q u a n t u m   s y s t e m .   N e v e r t h e l e s s ,  u s e s   o f   q u a n t u m   i n f o r m a t i o n   p r o -  c e s s i n g   a r e   p r o l i f e r a t i n g :   t w o   n o t a b l e  e x a m p l e s   a r e   q u a n t u m   k e y   d i s t r i b u t i o n  s y s t e m s   a n d   q u a n t u m   r a n d o m   n u m b e r  g e n e r a t o r s .  R e c e n t l y ,   t h e r e   h a s   b e e n   a   s u r g e   o f  i n t e r e s t   i n   t h e   i n t e r s e c t i o n   o f   m a c h i n e  l e a r n i n g   a n d   q u a n t u m   i n f o r m a t i o n   p r o -  c e s s i n g .   C o m b i n i n g   i d e a s   f r o m   t h e s e  t w o   f i e l d s   l e a d s   t o   t r e m e n d o u s   b e n e f i t s  f o r   b o t h .   W e   a r e   c o l l a b o r a t i n g   o n   s e v -  e r a l   s u b j e c t s   i n   t h i s   d o m a i n   b e t w e e n  I C F O - T h e   I n s t i t u t e   o f   P h o t o n i c  S c i e n c e s ,   t h e   A u t o n o m o u s   U n i v e r s i t y  o f   B a r c e l o n a ,   t h e   U n i v e r s i t y   o f   t h e  B a s q u e   C o u n t r y ,   a l l   i n   S p a i n ,   a s   w e l l   a s  t h e   U n i v e r s i t y   o f   C a l g a r y ,   C a n a d a .  A t   t h e   h i g h e s t   l e v e l ,   a b s t r a c t i n g   o f   t h e  a c t u a l   a l g o r i t h m s   a n d   f o c u s i n g   o n   t h e  f o u n d a t i o n s   o f   s t a t i s t i c a l   l e a r n i n g  t h e o r y ,   w e   c a n   a s k   w h a t   i t   m e a n s   t o  l e a r n   w i t h   q u a n t u m   d a t a   a n d   c h a n n e l s ,  w h a t   i n d u c t i o n   a n d   t r a n s d u c t i o n   m e a n  i n   t h i s   s e t t i n g ,   h o w   w e   c a n   d e f i n e   f i g -  u r e s   o f   m e r i t   t o   q u a n t i f y   p e r f o r m a n c e ,  a n d   e v e n t u a l l y   e s t a b l i s h   b o u n d s   o n   g e n -  e r a l i s a t i o n   p e r f o r m a n c e   u s i n g   s a m p l e  a n d   m o d e l   c o m p l e x i t y .   W e   s t u d i e d  s u p e r v i s e d   l e a r n i n g ,   a n d   p r o v e d   t h a t   i n  t h e   a s y m p t o t i c   l i m i t   a n d   u n d e r   a n  a s s u m p t i o n   o f   e x c h a n g e a b i l i t y ,  q u a n t u m   e n t a n g l e m e n t   d o e s   n o t   b r e a k  o u r   t r a d i t i o n a l   n o t i o n   o f   i n d u c t i o n   [ L 1 ] .  T h i s   i s   a n   i m p o r t a n t   s t e p p i n g   s t o n e  t o w a r d s   u n d e r s t a n d i n g   g e n e r a l i s a t i o n  p r o p e r t i e s   o f   q u a n t u m   l e a r n i n g   p r o t o -  c o l s .  T h e   n e x t   n a t u r a l   q u e s t i o n   t o   a s k   i s   t h a t  g i v e n   a   u n i v e r s a l   q u a n t u m   c o m p u t e r ,  w h a t   k i n d   o f   p r o t o c o l s   c a n   w e   u s e   f o r  M a k i n g   L e a r n i n g   P h y s i c a l :   M a c h i n e   I n t e l l i g e n c e  a n d   Q u a n t u m   R e s o u r c e s  b y   P e t e r   W i t t e k   ( I C F O - T h e   I n s t i t u t e   o f   P h o t o n i c   S c i e n c e s   a n d   U n i v e r s i t y   o f   B o r å s )  I t   i s   n o t   o n l y   m a c h i n e   l e a r n i n g   t h a t   i s   a d v a n c i n g   r a p i d l y :   q u a n t u m   i n f o r m a t i o n   p r o c e s s i n g   h a s  w i t n e s s e d   s e v e r a l   b r e a k t h r o u g h s   i n   r e c e n t   y e a r s .   I n   t h e o r y ,   q u a n t u m   p r o t o c o l s   c a n   o f f e r   a n  e x p o n e n t i a l   s p e e d u p   f o r   c e r t a i n   l e a r n i n g   a l g o r i t h m s ,   b u t   e v e n   c o n t e m p o r a r y   i m p l e m e n t a t i o n s   s h o w  r e m a r k a b l e   r e s u l t s   –   t h i s   n e w   f i e l d   i s   c a l l e d   q u a n t u m   m a c h i n e   l e a r n i n g .   T h e   b e n e f i t s   w o r k   b o t h   w a y s :  c l a s s i c a l   m a c h i n e   l e a r n i n g   f i n d s   m o r e   a n d   m o r e   a p p l i c a b i l i t y   i n   p r o b l e m s   i n   q u a n t u m   c o m p u t i n g .  F i g u r e   1 :   O v e r v i e w   o f   t h e   i n t e r p l a y   b e t w e e n   q u a n t u m   i n f o r m a t i o n   p r o c e s s i n g   a n d   m a c h i n e  l e a r n i n g .