È˹¤ÖÇÄÜÓë´óÊý¾ÝµÄÈںϣºÎ´À´»ùÈí½«¸ü¼Ó×¢ÖØÓëÈ˹¤ÖÇÄܺʹóÊý¾Ý¼¼ÊõµÄÈںϣ¬Í¨¹ýÖÇÄÜ»¯µÄÊý¾Ý´¦ÀíºÍ·ÖÎö£¬ÌáÉýϵͳµÄ×Ô¶¯»¯ºÍÖÇÄÜ»¯Ë®Æ½¡£
ÔÆ¼ÆËãÓë±ßÔµ¼ÆËãµÄ½áºÏ£ºÔƼÆËãºÍ±ßÔµ¼ÆË㽫³ÉΪδÀ´»ùÈí·¢Õ¹µÄÖ÷Òª·½Ïò¡£Í¨¹ý½«¼ÆËã×ÊÔ´¸üÁé»îµØ·ÖÅ䣬¿ÉÒÔ´ó´óÌáÉýϵͳµÄÏìÓ¦ËٶȺʹ¦ÀíÄÜÁ¦¡£
Çø¿éÁ´¼¼ÊõµÄÓ¦ÓãºËæ×ÅÇø¿éÁ´¼¼ÊõµÄ³ÉÊ죬»ùÈí½«ÔÚÊý¾Ý´æ´¢ºÍ´«ÊäµÄ°²È«ÐÔ·½Ãæ·¢»Ó¸ü´óµÄ×÷Óã¬È·±£Êý¾ÝÔÚ´«Êä¹ý³Ì?ÖеÄ?ÕæÊµÐԺͲ»?¿É´Û?¸ÄÐÔ¡£
ÔٴΣ¬»ù´¡Èí¼þÊÇÉç»á·¢Õ¹µÄÍÆ¶¯Õß¡£ÔÚÒ½ÁÆ¡¢½ÌÓý¡¢½»Í¨µÈ¶à¸öÁìÓò£¬»ù´¡Èí¼þµÄÓ¦ÓÃÕýÔÚÉî¿Ì¸Ä±äÎÒÃǵÄÉú»î·½Ê½¡£±ÈÈ磬ÔÚÒ½ÁÆÁìÓò£¬Í¨¹ýÒ½ÁÆÐÅϢϵͳºÍµç×Ó²¡Àú£¬Ò½Éú¿ÉÒÔ¸ü¼Ó¸ßЧµØÕï¶ÏºÍÖÎÁƲ¡ÈË£¬Ìá¸ßÒ½ÁÆ·þÎñµÄÖÊÁ¿¡£ÔÚ½ÌÓýÁìÓò£¬Í¨¹ýÔÚÏß½ÌÓýƽ̨ºÍѧϰ¹ÜÀíϵͳ£¬Ñ§Éú¿ÉÒÔ»ñµÃ¸ü¶àÓÅÖʵĽÌÓý×ÊÔ´£¬´òÆÆµØÓòÏÞÖÆ£¬ÊµÏÖ¸öÐÔ»¯Ñ§Ï°¡£
»ù´¡Èí¼þ»¹ÔÚÍÆ¶¯Éç»áÖÎÀíºÍ¹«¹²·þÎñµÄÏÖ´ú»¯¡£ÖÇÄܳÇÊн¨ÉèÀë²»¿ªÏȽøµÄ»ù´¡Èí¼þ¡£Í¨¹ýÎïÁªÍø¼¼ÊõºÍ´óÊý¾Ý·ÖÎö£¬³ÇÊйÜÀíÕß¿ÉÒÔʵʱ¼à¿Ø³ÇÊÐÔËÐÐ×´¿ö£¬´Ó¶ø×ö³ö¸ü¿ÆÑ§µÄ¾ö²ß£¬Ìá¸ß³ÇÊйÜÀíµÄЧÂʺÍ͸Ã÷¶È¡£ÀýÈ磬ÖÇÄܽ»Í¨ÏµÍ³¿ÉÒÔͨ¹ýʵʱÊý¾Ý·ÖÎö£¬ÓÅ»¯½»Í¨Á÷Á¿£¬¼õÉÙÓµ¶Â£¬ÌáÉý³öÐÐЧÂÊ¡£
¸ã»ùÈí¼þ²»½ö½öÊǼ¼ÊõµÄ¶ÑÆö£¬¸üÊÇÒ»ÖÖÔðÈκÍʹÃü¡£»ù´¡Èí¼þµÄ¿ª·¢ºÍά»¤²»½öÐèÒª¸ß³¬µÄ¼¼Êõˮƽ£¬¸üÐèÒªÉî¿ÌµÄÉç»áÔðÈθС£¿ª·¢ÕßÐèҪʱ¿Ì¹Ø×¢Óû§µÄÐèÇóºÍÒþ˽±£»¤£¬È·±£Èí¼þµÄ°²È«ÐÔºÍÎȶ¨ÐÔ¡£Õâ²»½öÊÇΪÁËÂú×ã¿Í»§µÄÆÚÍû£¬¸üÊÇΪÁ˱£»¤Õû¸öÉç»áµÄÐÅÏ¢°²È«¡£
·Ö²¼Ê½¼ÆËã¿ò¼ÜÊÇ»ù´¡Èí¼þÔÚ´óÊý¾ÝºÍÔÆ¼ÆËãÁìÓòµÄÖØÒª´´Ð¡£Í¨¹ý·Ö²¼Ê½¼ÆËã¿ò¼Ü£¬ÎÒÃÇ¿ÉÒÔ½«¼ÆËãÈÎÎñ·ÖÅäµ½¶à¸ö½ÚµãÉϲ¢Ðд¦Àí£¬´ó´óÌá¸ßÁ˼ÆËãЧÂʺʹ¦ÀíÄÜÁ¦¡£ÀýÈ磬ApacheHadoopºÍApacheSparkµÈ·Ö²¼Ê½¼ÆËã¿ò¼Ü£¬¾ÍÊÇ»ù´¡Èí¼þÔÚ´ó?Êý¾ÝÁìÓòµÄÖØÒª´´Ð¡£
Á¿×Ó¼ÆËãÊÇδÀ´¼ÆËã¼¼ÊõµÄÇ°ÑØ·½Ïò¡£»ù´¡Èí¼þÔÚÁ¿×Ó¼ÆËãÁìÓòµÄÑо¿ºÍ¿ª·¢£¬½«Îª¿ÆÑ§¼ÆËã¡¢ÃÜÂëѧ¡¢È˹¤ÖÇÄܵÈÁìÓò´øÀ´µß¸²ÐԵı仯¡£ÀýÈ磬¿ª·¢Á¿×ÓËã·¨¡¢ÓÅ»¯Á¿×Ó¼ÆËã»úµÄÄÚ´æ¹ÜÀíºÍ¼ÆËã¼Ü¹¹µÈ£¬¿ÉÒÔÍÆ¶¯Á¿×Ó¼ÆËã¼¼ÊõµÄ½ø²½¡£
¸ã»ùÈí¼þÊÇÒ»Ìõ³äÂúÌôÕ½ºÍ»úÓöµÄµÀ·¡£Í¨¹ý²»¶ÏѧϰºÍʵ¼ù£¬¿ÉÒÔÔÚ¼¼ÊõÁìÓòÈ¡µÃ׿ԽµÄ³É¾Í£¬Íƶ¯¼¼ÊõµÄ½ø²½?ºÍ´´Ð¡£ÎÞÂÛÊÇ×·Çó¼¼ÊõµÄÉî¶ÈÀí½â£¬»¹ÊÇÖÂÁ¦ÓÚ¼¼ÊõµÄ´´ÐÂÓ¦Ó㬶¼½«Îª¸öÈ˺ÍÉç»á´øÀ´¾Þ´óµÄ¼ÛÖµ¡£ÈÃÎÒÃǹ²Í¬Å¬Á¦£¬Ó½Ó¼¼ÊõµÄδÀ´£¬Ì½Ë÷¼¼ÊõµÄÎÞÏÞ¿ÉÄÜ£¡
ÔÚÐÅÏ¢»¯ºÍÊý×Ö»¯µÄÀ˳±ÖУ¬»ù´¡Èí¼þÊÇÍÆ¶¯ÕâÒ»½ø³ÌµÄ¹Ø¼üÁ¦Á¿¡£»ù´¡Èí¼þ£¨Ò²³ÆÏµÍ³Èí¼þ£©ÊÇΪÆäËûÓ¦ÓÃÈí¼þÌṩ֧³ÖºÍ·þÎñµÄµ×²ãÈí¼þ£¬°üÀ¨²Ù×÷ϵͳ¡¢Çý¶¯³ÌÐò¡¢ÏµÍ³¹¤¾ßµÈ¡£ËüÃǹ¹³ÉÁËÊý×ÖÊÀ½çµÄ»ù´¡¼Ü¹¹£¬È·±£¸÷ÀàÓ¦ÓÃÈí¼þÄܹ»Õý³£ÔËÐС£»ù´¡Èí¼þµÄ¸Ä½øºÍ´´Ð£¬Ö±½ÓÓ°Ïì×ÅÕû¸öÊý×Ö»¯ÏµÍ³µÄÐÔÄܺÍÎȶ¨ÐÔ¡£
¹¹½¨¼ÆËã»úϵͳµÄ»ù´¡¼Ü¹¹»ù´¡Èí¼þÊǼÆËã»úϵͳµÄ»ù´¡¼Ü¹¹£¬ËüÖ±½ÓÔËÐÐÔÚÓ²¼þÉÏ£¬¹ÜÀí¼ÆËã»úÓ²¼þµÄ×ÊÔ´£¬²¢ÎªÆäËûÓ¦ÓÃÈí¼þÌṩһ¸öÎȶ¨µÄÔËÐл·¾³¡£²Ù×÷ϵͳ¾ÍÊÇÒ»¸öµäÐ͵Ļù´¡Èí¼þ£¬Ëü¸ºÔð¹ÜÀíÄÚ´æ¡¢´¦ÀíÆ÷¡¢ÊäÈëÊä³öÉ豸µÈÓ²¼þ×ÊÔ´£¬²¢ÌṩӦÓóÌÐòÔËÐÐËùÐèµÄ½Ó¿Ú¡£
Ìá¹©ÍøÂçͨÐźÍÊý¾Ý´¦ÀíµÄ?»ù´¡ÔÚÏÖ´úÉç»á£¬ÐÅÏ¢µÄ´«ÊäºÍ´¦ÀíÊDz»¿É»òȱµÄ¡£ÍøÂçÐÒéÕ»×÷Ϊ»ù´¡Èí¼þµÄÖØÒª×é³É²¿·Ö£¬¸ºÔðÊý¾ÝÔÚÍøÂçÖеĴ«ÊäºÍ·ÓÉ¡£ËüÈ·±£?ÐÅÏ¢Äܹ»´ÓÒ»¸ö¼ÆËã»ú´«Êäµ½ÁíÒ»¸ö¼ÆËã»ú£¬ÊµÏÖÈ«Çò·¶Î§ÄÚµÄÐÅÏ¢¹²ÏíºÍÐ×÷¡£
Ö§³ÖÊý¾Ý´æ´¢ºÍ¹ÜÀíÊý¾Ý¿â¹ÜÀíϵͳÊÇÁíÒ»ÖÖÖØÒªµÄ»ù´¡Èí¼þ£¬ËüÌṩÁ˸ßЧµÄÊý¾Ý´æ´¢¡¢¼ìË÷ºÍ¹ÜÀí¹¦ÄÜ¡£ËüʹµÃÎÒÃÇÄܹ»ÔÚº£Á¿Êý¾ÝÖпìËÙ²éÕÒ¡¢Ð޸ĺͷÖÎöËùÐèÐÅÏ¢£¬ÎªÆóÒµ¡¢¿ÆÑкÍÈÕ³£Éú»îÌṩÁËÇ¿´óµÄ?Êý¾ÝÖ§³Ö?¡£
»ù´¡Èí¼þµÄ·¢Õ¹Ö±½ÓÌáÉýÁËÎÒÃǵÄÉú»îÖÊÁ¿¡£ÀýÈ磬ͨ¹ýÍøÂçͨÐż¼Êõ£¬ÎÒÃÇÄܹ»ËæÊ±ËæµØ½øÐÐÐÅÏ¢½»Á÷ºÍÓéÀֻ¡£Í¨¹ýÊý¾Ý¹ÜÀíºÍÐÅÏ¢°²È«¼¼Êõ£¬ÎÒÃǵÄ?¸öÈËÒþ˽ºÍÊý¾ÝµÃ?µ½Á˸üºÃµÄ±£»¤¡£ÕâЩ»ù´¡Èí¼þµÄ½ø²½£¬Ê¹µÃÎÒÃǵÄÉú»î¸ü¼Ó±ã½ÝºÍ¸ßЧ¡£
¸ã»ù´¡Èí¼þ²»½ö½öÊÇÒ»Ãż¼Êõ£¬¸üÊÇÁ¬½ÓÄãÎÒµÄÊý×ÖÇÅÁº¡£Ëü²»½öÖ§³Åן÷ÖÖÓ¦ÓÃÈí¼þµÄ?ÔËÐУ¬¸üÊÇÁ¬½ÓÄãÎÒÖ®¼äÐÅÏ¢ºÍÊý¾ÝµÄÖØÒªÍ¾¾¶¡£»ù´¡Èí¼þµÄ½ø²½£¬Ö±½ÓÍÆ¶¯Á˿Ƽ¼½ø²½¡¢¾¼Ã·¢Õ¹ºÍÉç»á½ø²½¡£ÔÚδÀ´£¬»ù´¡Èí¼þ½«¼ÌÐø³¯×Å×Ô¶¯»¯¡¢ÇáÁ¿»¯¡¢¶àÔÆºÍ±ßÔµ¼ÆËãµÈ·½Ïò·¢Õ¹£¬ÎªÎÒÃÇ´´Ôì¸ü¼ÓÃÀºÃµÄÊý×ÖÉú»î¡£
ÈÃÎÒÃǹ²Í¬ÆÚ´ý£¬»ù´¡Èí¼þÔÚδÀ´Äܹ»¼ÌÐø·¢»ÓÆä²»¿É»òȱµÄ×÷Óã¬ÎªÎÒÃǵÄÉú»î´øÀ´¸ü¶àµÄ±ãÀûºÍ´´Ð¡£