Äú¿ÉÒÔ¾èÖú£¬Ö§³ÖÎÒÃǵĹ«ÒæÊÂÒµ¡£

1Ôª 10Ôª 50Ôª





ÈÏÖ¤Â룺  ÑéÖ¤Âë,¿´²»Çå³þ?Çëµã»÷Ë¢ÐÂÑéÖ¤Âë ±ØÌî



  ÇóÖª ÎÄÕ ÎÄ¿â Lib ÊÓƵ iPerson ¿Î³Ì ÈÏÖ¤ ×Éѯ ¹¤¾ß ½²×ù Modeler   Code  
»áÔ±   
 
   
 
 
     
   
 ¶©ÔÄ
  ¾èÖú
Linkedln¼¼Êõ¸ß¹ÜJay Kreps£ºLambda¼Ü¹¹ÆÊÎö
 
×÷Õß ÎéÀ¥ »ðÁú¹ûÈí¼þ ·¢²¼ÓÚ 2014-07-11
  975  次浏览      19
 

Jay KrepsÊÇLinkedlnµÄÒ»ÃûÔÚÏßÊý¾Ý¼Ü¹¹¼¼Êõ¸ß¹Ü£¬Æ为ÔðLinkedln¿ªÔ´ÏîÄ¿£¬°üÀ¨Apache Kafka¡¢Apache Samza¡¢VoldemortÒÔ¼°AzkabanµÈÏîÄ¿¡£ÔÚÈÕ³£¹¤×÷ÖУ¬Jay Kreps¾­³£±»Îʼ°ÓйØLambda¼Ü¹¹µÄÎÊÌ⣬Ϊ´ËËû½áºÏʵ¼Ê¾­ÑéºÍ¸öÈËÌå»á£¬°ÑʹÓÃLambda¼Ü¹¹µÄÐĵÃ×ܽáΪÒÔϼ¸µã£¬ÎÒÃÇÒ»ÆðÀ´¿´Ï£º

Lambda¼Ü¹¹µÄ×é³É

¸Ã¼Ü¹¹µÄ×é³ÉÊÇÕâÑùµÄ£º

Ôڸüܹ¹ÖУ¬±»¶ÁÈ¡µÄÊý¾ÝÊDz»¿É±äµÄ£¬ÔÚ²¢Ðд¦Àí¹ý³ÌÖÐÊý¾Ý»áÒÀ´Î½øÈëÅú´¦Àíϵͳ£¨batch system£©ÓëÁ÷´¦Àíϵͳ¡£´ÓÂß¼­ÉÏ¿´£¬´«Êä¹ý³Ì·¢ÉúÁËÁ½´Î£¬Ò»´ÎÊÇÔÚÅú´¦ÀíÖУ¬Ò»´ÎÊÇÔÚÁ÷´¦ÀíÖС£ÔÚ²éѯʱ£¬µ±ÕâÁ½Õ߶¼·µ»Ø½á¹ûºó£¬²ÅËãÊÇÍê³ÉÒ»´ÎÍêÕûµÄ²éѯ¡£

Õâ¸ö¼Ü¹¹¿ÉÒÔÓкܶàµÄ×éºÏ±ä»¯£¬ÎÒµÄÏë·¨ÊÇÏ£ÍûËü±äµÃ¸ü¼ò½à¡£ÀýÈç¿ÉÒÔ°ÑÀïÃæµÄKafka¡¢Storm¡¢HadoopµÈ»»³ÉÆäËüÀàËƵÄϵͳ£»¹ß³£µÄ×ö·¨ÊÇʹÓÃÁ½¸öÊý¾Ý¿âÀ´´æ´¢Êý¾ÝÊä³ö±í£¬Ò»¸öÓÃÓÚʵʱÓÅ»¯²éѯ£¬ÁíÍâÒ»¸öÓÃÓÚÅúÁ¿ÓÅ»¯´¦Àí¡£

Lambda¼Ü¹¹µÄÄ¿µÄÊÇΪӦÓóÌÐòÌṩһ¸öµÍÑӳٵĸ´ºÏÒì²½Êý¾Ý´«Êä»·¾³£¬ÀýÈçÐÂÎÅÀàÓ¦Ó㬾­³£ÐèÒª½øÐдó¹æÄ£ÐÅÏ¢´¦Àí£¬°üÀ¨ÊäÈ룬¹éÀ࣬Ë÷Òý£¬´æ´¢µÈ²Ù×÷¡£

ÎÒµÄÌå»áÊÇ£º¼Ü¹¹µÄÒýÈë²»ÄÜÕÕ±¾Ðû¿Æ£¬Òª¸ù¾Ýʵ¼ÊÇé¿ö½øÐе÷ÕûÓÅ»¯¡£

ÓÅȱµã·ÖÎö

Óŵ㣺

1.Êý¾ÝµÄ²»¿É±äÐÔ¡£ÀïÃæ¸ø³öµÄÊý¾Ý´«ÊäÄ£ÐÍÊÇÔÚ³õʼ»¯½×¶Î¶ÔÊý¾Ý½øÐÐʵÀý»¯£¬ÕâÑùµÄ×ö·¨ÊÇÄÜ»ñÒæÁ¼¶àµÄ¡£Äܹ»Ê¹µÃ´óÁ¿µÄMapReduce¹¤×÷±äµÃÓм£¿ÉÑ­£¬´Ó¶ø±ãÓÚÔÚ²»Í¬½×¶Î½øÐжÀÁ¢µ÷ÊÔ¡£

2.Ç¿µ÷ÁËÊý¾ÝµÄÖØмÆËãÎÊÌâ¡£ÔÚÁ÷´¦ÀíÖÐÖØмÆËãÊǸöÖ÷ÒªÌôÕ½£¬µ«ÊǾ­³£±»ºöÊÓ¡£±È·½Ëµ£¬Ä³¹¤×÷Á÷µÄÊý¾ÝÊä³öÊÇÓÉÊäÈë¾ö¶¨µÄ£¬ÄÇôһµ©´úÂë·¢Éú¸Ä¶¯£¬ÎÒÃǽ«²»µÃ²»ÖØмÆËãÀ´¼ìÊÓ±ä¸üµÄЧ¶È¡£Ê²Ã´Çé¿öÏ´úÂë»á¸Ä¶¯ÄØ£¿ÀýÈçÐèÇó·¢Éú±ä¸ü£¬¼ÆËã×Ö¶ÎÐèÒªµ÷Õû»òÕß³ÌÐò·¢³ö´íÎó£¬ÐèÒª½øÐе÷ÊÔ¡£

´ËÍ⣬Íâ½ç¶ÔÓÚLambdaµÄÆÀÂÛ»¹ÓÐÆäËü¹Ûµã£¬ÀýÈç˵ʵʱÊý¾Ý´¦ÀíÊǹÌÓеģ¬½ÏÅú´¦ÀíÊǸßËðºÄµÍЧÂÊ£¬ÎҶԴ˲¢²»ÔÞͬ¡£³ÏÈ»Á÷´¦ÀíÄ¿µÄ¿ò¼ÜǰûÓÐMapReduceÄÇÑù³ÉÊ죬µ«ÊÇÎÒÃÇÓ¦¸ÃÓ÷¢Õ¹µÄ¹ÛµãÀ´¿´´ý¶ø²»ÊǾʹ˸ǹ׶¨ÂÛ¡£

ȱµã£º

1.´úÂëµÄά»¤ÐèÒªÔÚÁ½¸ö¸´Ôӵķֲ¼Ê½ÏµÍ³ÖнøÐУ¬ÕâÊǸöÀ§ÄѵŤ×÷¡£ÀýÈç˵ÔÚ»ùÓÚ·Ö²¼Ê½¿ò¼ÜÉÏÈçStorm»òHadoopÖнøÐбà³Ì£¬Ê¹Óò»Í¬µÄ¿ò¼Ü¾ÍÐèÒª½øÐв»Í¬µÄ´¦Àí¡£ËäȻĿǰÓнâ¾ö·½°¸³¢ÊÔ´ÓʵʱºÍÅú´¦Àí¿ò¼ÜÖнøÐгéÏó×ۺϣ¬´Ó¶øʹµÃ¼ÈÄÜÔڸ߽׿ò¼ÜÖнøÐбà³Ì¶øºóÓÖÄÜÔÚÁ÷´¦Àí»òMapReduceÖÐÍê³É½µ½×´¦Àí²Ù×÷£»Summingbird²ÉÓõľÍÊÇÕâÖÖ·½·¨¡£²»¹ýÕâÑùËäÈ»ÔÚij³Ì¶ÈÉÏÄܼõÉÙ±àÂëµÄ¸´ÔӶȣ¬µ«ÊÇÈÔȻûÓиù±¾ÐԵؽâ¾öÎÊÌâ¡£

2.¼´Ê¹Äܽâ¾ö¶þ´Î±àÂëÎÊÌ⣬·Ö±ðÔÚÁ½¸öϵͳÖÐÔËÐкÍά»¤Ó¦ÓóÌÐòÈÔÈ»ÊǸö¼è¾ÞµÄÈÎÎñ¡£ËùÒÔ£¬»ùÓÚ²»Í¬ÏµÍ³¶ø³éÏóµÃµ½µÄÐÂϵͳ£¬¶¼Ö»ÄÜÊÇ´ÓÁ½ÕߵŦÄܽ»¼¯ÖÐÀ´½øÐС£ÀàËƵأ¬ÔÚ¿çÊý¾Ý¿âϵͳÖнøÐÐORM(¶ÔÏó¹ØϵӳÉä)Ò²ÊǸöÀ§ÄѵŤ×÷¡£

Íê³ÉµÄÊÔÑé

ÔÚLinkedlnÖУ¬ÎÒÃÇ×öÁ˲»ÉÙµÄÊÔÑé¡£³¢ÊÔ½¨Á¢²»Í¬ÀàÐ͵ķֲ¼Ê½¼ÆËã¿ò¼Ü£¬ÉõÖÁÊÇ¿ª·¢³öʹ´úÂëÄÜÔÚʵʱ»òHadoopÖÐÎÞ·ìÔËÐеÄרÓÃAPI¡£²»¹ý£¬Ä¿Ç°À´¿´»¹²»Ã»×öµ½ÍêÃÀÎÞȱ¡£ÒòΪ¶àϵͳµÄ±à³ÌÈÎÎñʵÔÚÊÇÌ«¼è¾ÞÁË¡£´ËÍ⣬APIµÄʹÓûáÈÃϵͳµÄ©¶´²»Ò×±»·¢ÏÖ£¬Í¬Ê±¶Ô¿ª·¢ÕßÓиüÑϸñµÄ¼¼ÊõÒªÇ󡪡ª¶ÔAPIµÄÔËÓÃÒª×ã¹»µÄÊìÁ·£¬´Ó¶øÄÜÔÚµ÷ÊÔ»òЧÂʼìÊÓʱÄܹ»¶ÔËùÓÐÓ°ÏìµÄÒòËØ×öµ½ÁËÈ»ÓÚÐØ¡£

ÎҵĽ¨ÒéÊÇ£ºÈç¹ûÄ㲻̫¿´ÖØÑÓ³ÙÎÊÌ⣬¿ÉÒÔ³¢ÊÔʹÓÃÀàËÆMapReduceµÄÅú´¦Àí¿ò¼Ü»òÕßÊÇÁ÷´¦Àí¿ò¼Ü£¬µ«ÊÇ×îºÃ²»ÒªÍ¬Ê±Ê¹Ó㬳ý·ÇÕæµÄÓбØÒª¡£

ÄÇô£¬Lambda¼Ü¹¹µÄÓÅÊÆÊÇʲôÄØ£¿ÎÒÏëÊÇËüÄܹ»ºÜºÃµØÖ¸µ¼ÈçºÎ´î½¨Ò»¸ö¸´ÔӵĵÍÑÓ³Ù´¦Àíϵͳ¡£ÀýÈç´î½¨Ò»¸ö´¦ÀíÀúÊ·Êý¾ÝµÄ¸ßÑÓ³Ù´óÊý¾Ý´¦ÀíϵͳºÍÒ»¸öµÍÑÓ³ÙµÄÁ÷´¦ÀíϵͳÀ´¼õÉÙÖØмÆËãµÄÎÊÌâ¡£µ«ÊÇÕâÓ¦¸ÃÊÇÔÝʱÐԵģ¬Î´À´»¹»á´æÔÚ¸üºÃµÄÌæ´ú½â¾ö·½°¸¡£

Ò»¸öÌæ´ú·½°¸

ºÜ¶àʱºò£¬¹ßÐÔ˼ά»áÈÃÈ˾õµÃÁ÷´¦ÀíϵͳÔÚ´¦ÀíÀúÊ·Êý¾ÝµÈ´óÊý¾Ý³¡ºÏ²»Ì«Êʺϣ¬µ«ÊÇÎÒ¾õµÃÕâ¿ÉÄÜÓëËûÃÇʹÓõÄϵͳ×ÔÉíÏÞÖÆÓйء£Á÷´¦ÀíÆäʵÊÇÔÚÊý¾ÝÊä³öµÄÖмä½×¶Î½øÐеģ¬Íê³ÉºóÔٰѽá¹û·µ»Ø¸øÓû§£¬ËùÒÔÊǾ߱¸´óÊý¾Ý´¦ÀíÄÜÁ¦µÄ¡£

ÀýÈ磬Çë¿´ÏÂÎÒÃǵÄÒ»¸öÌæ´ú·½°¸£º

1.ʹÓÃKafka»òÆäËüϵͳÀ´¶ÔÐèÒªÖØмÆËãµÄÊý¾Ý½øÐÐÈÕÖ¾¼Ç¼£¬ÒÔ¼°Ìṩ¸ø¶à¸ö¶©ÔÄÕßʹÓá£ÀýÈçÐèÒªÖØмÆËã30ÌìÄÚµÄÊý¾Ý£¬ÎÒÃÇ¿ÉÒÔÔÚKafkaÖÐÉèÖÃ30ÌìµÄÊý¾Ý±£ÁôÖµ¡£

2.µ±ÐèÒª½øÐÐÖØмÆËãʱ£¬Æô¶¯Á÷´¦Àí×÷ÒµµÄµÚ¶þ¸öʵÀý¶Ô֮ǰ»ñµÃµÄÊý¾Ý½øÐд¦Àí£¬Ö®ºóÖ±½Ó°Ñ½á¹ûÊý¾Ý·ÅÈëеÄÊý¾ÝÊä³ö±íÖС£

3.µ±×÷ÒµÍê³Éʱ£¬ÈÃÓ¦ÓóÌÐòÖ±½Ó¶ÁȡеÄÊý¾Ý¼Ç¼±í¡£

4.Í£Ö¹ÀúÊ·×÷Òµ£¬É¾³ý¾ÉµÄÊý¾ÝÊä³ö±í¡£

ÓбðÓÚLambda¼Ü¹¹£¬ÉÏÊö·½·¨ÊÇÔÚ´úÂë¸Ä¶¯Ê±²Å½øÐÐÊý¾ÝÖØмÆËã¡£Èç¹ûÏë¼Ó¿ì´¦ÀíËٶȣ¬¼ÆËã×÷ÒµµÄ²¢Ðд¦ÀíÄÜÁ¦ÊǸöÍ»ÆÆ¿Ú¡£»òÐíÎÒÃÇ¿ÉÒÔ°ÑÕâ¸ö¼Ü¹¹³ÆºôΪKappa¼Ü¹¹£¬ËäÈ»ËüÕæµÄºÜ¼òÒס£

Õâ¸ö·½°¸»¹ÄܼÌÐøÓÅ»¯¸Ä½ø¡£ºÜ¶àÇé¿öÏ£¬ÎÒÃÇ¿ÉÒÔ°ÑÁ½¸öÊý¾ÝÊä³ö±íÕûºÏÔÚÒ»Æð¡£ÕâÑùÒ»À´£¬ÎÒÃÇ¿ÉÒԺܿìµØÔÚ³ÌÐòÖжÁÈ¡ÀúÊ·¼Ç¼ºÍ½øÐÐÆäËüÖØÒªµÄÕë¶ÔÐÂÀÏ°æ±¾µÄ²âµ÷ÊÔ¹¤×÷¡£

Çë×¢Ò⣬Õâ¸ö·½·¨²»ÊÇ˵ÈÃÎÒÃÇÔ¶ÀëHDFS£¬¶øÊÇ˵ÎÒÃDz»ÔÚHDFSÖнøÐÐÖØмÆËã¡£ÏêϸµÄ˵Ã÷Îĵµ£¬Çëµã»÷ÕâÀï½øÐвéÔÄ¡£

±³¾°ÖªÊ¶

¶ÔKafka²»Ì«ÊìϤµÄ¶ÁÕߣ¬¿ÉÄÜÀí½âÉÏ»áÓеãÀ§ÄÑ¡£ÎÒÃÇÕâÀï¸ø³öһЩ±³¾°½éÉÜ£¬Ï£Íû¶Ô³õѧÕßÓÐËù°ïÖú¡£

KafkaÖÐÊÇÕâÑù°´ÐòÀ´½øÐÐÈÕÖ¾¼Ç¼µÄ£º

Ò»¸öKafka¡°Ö÷Ì⡱°üº¬ÁËÒÔϵļǼ¼¯£º

Ò»¸öÁ÷´¦ÀíÔÚʹÓÃÕâЩÊý¾Ýʱ½øÐеÄÊÇ¡°Æ«ÒÆ¡±Á¿Î¬»¤£¬¾ÍÊÇ°Ñÿ¸ö·ÖÇø×îмÓÈëÊý¾ÝµÄ±àºÅ½øÐмǼ¡£ËùÒÔ£¬Ö»ÐèʹÓò»Í¬µÄÆ«ÒÆÁ¿À´ÖØÐÂÖ´ÐÐ×÷Òµ¾Í¿ÉÒÔʵÏÖÖØмÆËãµÄÄ¿µÄ¡£¶ÔͳһÊý¾ÝÌí¼ÓµÚ¶þ¸öÏûÏ¢Ïû·ÑÕßÆäʵ¾ÍÏ൱ÓÚʹÁíÍâÒ»¸ö¶ÁÕßÖ¸Ïò²»Í¬µÄÈÕ־λÖá£

KafkaÌṩÁ˸´Öƺ͸ßÈÝ´íµÄÄÜÁ¦£¬Ê¹µÃÄÜÔÚ±ãÒ˵ÄÉÌÒµÓ²¼þÖÐʹÓã¬ÌرðÊÇÔÚTB¼¶±ðµÄ´æ´¢³¡ºÏÖС£

дÔÚ×îºó

ËäÈ»ÔÚLinkedlnÖУ¬ÅäºÏ¸Ã·½·¨µÄÊÇSamzaÁ÷´¦Àíϵͳ£¬µ«²¢²»´ú±í²»ÄÜÔÚÆäËûϵͳÖÐÔËÓá£ÓÐÐĵĶÁÕß¿ÉÒÔ½øÐг¢ÊÔ£¬ÎÒºÜÀÖÒâ¿´µ½ÓÐеķ½°¸²úÉú¡£

   
975 ´Îä¯ÀÀ       19
Ïà¹ØÎÄÕÂ

ÆóÒµ¼Ü¹¹¡¢TOGAFÓëArchiMate¸ÅÀÀ
¼Ü¹¹Ê¦Ö®Â·-ÈçºÎ×öºÃÒµÎñ½¨Ä££¿
´óÐÍÍøÕ¾µçÉÌÍøÕ¾¼Ü¹¹°¸ÀýºÍ¼¼Êõ¼Ü¹¹µÄʾÀý
ÍêÕûµÄArchimateÊÓµãÖ¸ÄÏ£¨°üÀ¨Ê¾Àý£©
Ïà¹ØÎĵµ

Êý¾ÝÖÐ̨¼¼Êõ¼Ü¹¹·½·¨ÂÛÓëʵ¼ù
ÊÊÓÃArchiMate¡¢EA ºÍ iSpace½øÐÐÆóÒµ¼Ü¹¹½¨Ä£
ZachmanÆóÒµ¼Ü¹¹¿ò¼Ü¼ò½é
ÆóÒµ¼Ü¹¹ÈÃSOAÂäµØ
Ïà¹Ø¿Î³Ì

ÔÆƽ̨Óë΢·þÎñ¼Ü¹¹Éè¼Æ
ÖÐ̨սÂÔ¡¢ÖÐ̨½¨ÉèÓëÊý×ÖÉÌÒµ
ÒÚ¼¶Óû§¸ß²¢·¢¡¢¸ß¿ÉÓÃϵͳ¼Ü¹¹
¸ß¿ÉÓ÷ֲ¼Ê½¼Ü¹¹Éè¼ÆÓëʵ¼ù
×îл¼Æ»®
Èí¼þ¼Ü¹¹Éè¼Æ·½·¨¡¢°¸ÀýÓëʵ¼ù 8-23[ÌØ»Ý]
LinuxÄں˱à³Ì¼°É豸Çý¶¯ 8-15[±±¾©]
Python¡¢Êý¾Ý·ÖÎöÓë»úÆ÷ѧϰ 8-23[ÌØ»Ý]
ǶÈëʽÈí¼þ¼Ü¹¹Éè¼Æ 8-22[ÏßÉÏ]
QTÓ¦Óÿª·¢ 9-5[±±¾©]

ר¼ÒÊӽǿ´ITÓë¼Ü¹¹
Èí¼þ¼Ü¹¹Éè¼Æ
ÃæÏò·þÎñÌåϵ¼Ü¹¹ºÍÒµÎñ×é¼þ
ÈËÈËÍøÒƶ¯¿ª·¢¼Ü¹¹
¼Ü¹¹¸¯»¯Ö®ÃÕ
̸ƽ̨¼´·þÎñPaaS


ÃæÏòÓ¦Óõļܹ¹Éè¼Æʵ¼ù
µ¥Ôª²âÊÔ+Öع¹+Éè¼Æģʽ
Èí¼þ¼Ü¹¹Ê¦¡ª¸ß¼¶Êµ¼ù
Èí¼þ¼Ü¹¹Éè¼Æ·½·¨¡¢°¸ÀýÓëʵ¼ù
ǶÈëʽÈí¼þ¼Ü¹¹Éè¼Æ¡ª¸ß¼¶Êµ¼ù
SOAÌåϵ½á¹¹Êµ¼ù


Èñ°²¿Æ¼¼ Èí¼þ¼Ü¹¹Éè¼Æ·½·¨
³É¶¼ ǶÈëʽÈí¼þ¼Ü¹¹Éè¼Æ
ÉϺ£Æû³µ ǶÈëʽÈí¼þ¼Ü¹¹Éè¼Æ
±±¾© Èí¼þ¼Ü¹¹Éè¼Æ
ÉϺ£ Èí¼þ¼Ü¹¹Éè¼Æ°¸ÀýÓëʵ¼ù
±±¾© ¼Ü¹¹Éè¼Æ·½·¨°¸ÀýÓëʵ¼ù
ÉîÛÚ ¼Ü¹¹Éè¼Æ·½·¨°¸ÀýÓëʵ¼ù
ǶÈëʽÈí¼þ¼Ü¹¹Éè¼Æ¡ª¸ß¼¶Êµ¼ù