×ß½øÇå¾²ÐÐÒµ´óÄ£×Ó
Ðû²¼Ê±¼ä 2024-04-11ÔÚ´óÄ£×Ó·ºÆð֮ǰ£¬£¬£¬£¬ÒÔ»úеѧϰ¡¢Éî¶Èѧϰ¡¢¹æÔòÍÆÀíµÈΪ´ú±íµÄÈ˹¤ÖÇÄÜÊÖÒÕÒѾÆÕ±éÓ¦ÓÃÓÚÍøÂçÇå¾²ÁìÓòÁË¡£¡£¡£¡£¡£¡£ÄÇôΪʲô»¹ÐèÒª´óÄ£×ÓÄØ£¿£¿£¿£¿
ΪʲôÐèÒª´óÄ£×Ó£¿£¿£¿£¿
ÓÉÓÚ´óÄ£×Ó²»µ«¾ß±¸Í¨ÓÃÖÇÄܺÍ֪ʶ£¬£¬£¬£¬»¹¾ß±¸ÖªÊ¶ÕûºÏÌáÈ¡ÄÜÁ¦ºÍÂ߼ͷÄÔÄÜÁ¦¡£¡£¡£¡£¡£¡£ÀíÏëµÄ´óÄ£×ÓÏñÊÇÈËÀàµÄÖúÊÖ£¨»òÕß˵¸±¼ÝÊ»£©£¬£¬£¬£¬¶ø²»ÊÇÒ»¸ö¿É¹©²éÔĵŤ¾ßÊé¡£¡£¡£¡£¡£¡£
ÒÔͨ¹ýÉî¶ÈѧϰѵÁ·»ñµÃµÄרÓÃСģ×ÓΪÀý¡£¡£¡£¡£¡£¡£Ð¡Ä£×ÓµÄѵÁ·ÐèÒª´ó×ڵıê×¢Êý¾Ý£¬£¬£¬£¬²¢ÇÒÖ»Äܽâ¾ö¼òµ¥ÎÊÌâ¡£¡£¡£¡£¡£¡£Ïà±È֮ϣ¬£¬£¬£¬´óÄ£×ÓµÄͨÓÃÐÔÎÞаÐí¶à£¬£¬£¬£¬ÉõÖÁÖ»ÐèÒª¼¸Ìõ¼òÆÓµÄÑùÀý£¬£¬£¬£¬¾ÍÄܾ߱¸ÐÂÄÜÁ¦£¬£¬£¬£¬Õâ¾ÍʹµÃ´óÄ£×ÓÓиüÆÕ±éµÄÓ¦Óó¡¾°¡£¡£¡£¡£¡£¡£
OpenAIÔÚ2020ÄêÌá³öµÄËõ·Å¶¨ÂÉ£¨Scaling Law£©Ö¸³ö£¬£¬£¬£¬Ä£×ÓµÄ×îÖÕÐÔÄÜÖ÷ÒªÓëÅÌËãÁ¿£¬£¬£¬£¬Ä£×Ó²ÎÊýÄ¿ºÍÊý¾Ý¾ÞϸÈýÕßÏà¹Ø£¬£¬£¬£¬¶øÓëÄ£×ÓµÄÏêϸ½á¹¹£¨²ãÊý/Éî¶È/¿í¶È£©»ù±¾Î޹ء£¡£¡£¡£¡£¡£
¶ø´óÄ£×ÓÏà±ÈÓÚ֮ǰµÄС²ÎÊýÄ¿ÓïÑÔÄ£×Ó£¬£¬£¬£¬ÔÚÒÔÉÏÈý¸ö·½Ãæ¶¼×öÁËÖØ´óÌáÉý£¬£¬£¬£¬²¢Õ¹ÏÖ³öһЩӿÏÖÄÜÁ¦£¨ÌìÏÂ֪ʶ£¬£¬£¬£¬Ö¸Áî×ñÕÕ£¬£¬£¬£¬Öð²½ÍÆÀíµÈ£©¡£¡£¡£¡£¡£¡£
ͨË×À´½²£¬£¬£¬£¬»ù´¡´óÄ£×ÓÓÉÆÕ±éµÄͨÓÃÊý¾Ý£¨ÈçÍøÒ³¡¢°Ù¿Æ¡¢Êé¼®µÈ£©ÑµÁ·»ñµÃ£¬£¬£¬£¬ËüÏñÊÇÒ»¸ö¿ÉÒÔºÍÄã¶Ô»°µÄ°Ù¿ÆÈ«Ê飬£¬£¬£¬Ïàʶȴ²»ÐÑÄ¿ÖÖÖÖ֪ʶ£¬£¬£¬£¬Í¬Ê±¾ß±¸Ò»¶¨µÄÂ߼ͷÄÔÄÜÁ¦£¬£¬£¬£¬¶øÕâЩ¶¼ÊǹýÍùСģ×ÓºÜÄÑ×öµ½µÄ¡£¡£¡£¡£¡£¡£
×èÖ¹2023Äêµ×£¬£¬£¬£¬º£ÄÚÒÑÐû²¼µÄͨÓôóÄ£×ÓÁè¼ÝÁË200¸ö£¬£¬£¬£¬ÄÇôΪʲô»¹Òª´òÔìÃæÏòÌØ¶¨ÁìÓò»òÐÐÒµµÄÐÐÒµ´óÄ£×ÓÄØ£¿£¿£¿£¿
ΪʲôÐèÒªÐÐÒµ´óÄ£×Ó?
ÉÏÎÄÌáµ½ÁËÀíÏëµÄ´óÄ£×ÓËù¾ß±¸µÄÄÜÁ¦¡£¡£¡£¡£¡£¡£È»¶ø£¬£¬£¬£¬ÐÔÄÜÊÜÏÞÓÚËõ·Å¶¨ÂÉ£¬£¬£¬£¬»ù´¡´óÄ£×ÓÏÖʵӦÓÃÆðÀ´È´²¢Ã»ÓÐÏëÏóÖÐÄÇô¼ÝÇá¾ÍÊì¡£¡£¡£¡£¡£¡£´óÄ£×ÓʹÓÃͨÓÃÓïÁÏ¿â¾ÙÐÐѵÁ·£¬£¬£¬£¬¶øÇå¾²ÐÐÒµµÄÊý¾Ýͨ³£ÊÇÌØÊâÇÒÓÐÏ޵ġ£¡£¡£¡£¡£¡£
Õâµ¼Ö LLM ȱ·¦Çå¾²Ïà¹ØÊý¾ÝºÍרҵ֪ʶ£¬£¬£¬£¬¶ÔÌØ¶¨Çå¾²ÎÊÌâµÄÃ÷È·ÄÜÁ¦ØÑ·¦£¬£¬£¬£¬ÎÞ·¨Ìṩ׼ȷ»òÉîÈëµÄרҵڹÊÍ¡£¡£¡£¡£¡£¡£
Ñо¿Åú×¢£¬£¬£¬£¬Í¨ÓôóÄ£×ÓÔÚÇå¾²ÎÊÌâÉÏÌìÉúÃÕµ×µÄ׼ȷÂÊ´ó¶¼È±·¦50%£¬£¬£¬£¬¶ÔÖÐÎÄÎÊÌâ»Ø¸²µÄ׼ȷÂʸüµÍ¡£¡£¡£¡£¡£¡£ÏÂͼչʾµÄÊDzî±ðÄ£×ÓÔÚÍøÂçÇå¾²ÎÊÌ⼯Éϻظ²µÄ׼ȷÂÊ£º
Òò´Ë£¬£¬£¬£¬Í¨¹ýÔöÁ¿Ô¤ÑµÁ·£¨Continuous Pre-train£¬£¬£¬£¬CPT£©µÈÊÖÒÕΪ´óÄ£×Ó×¢ÈëÇå¾²ÐÐҵ֪ʶ£¬£¬£¬£¬¾Í³ÉΪÁËÇå¾²ÐÐÒµ´óÄ£×ÓÓ¦ÓõÄÐëÒªÊֶΡ£¡£¡£¡£¡£¡£È±ÉÙÕâ¸ö°ì·¨Ö±½Ó¶ÔºóÐøÇ徲ʹÃü×ö¼àÊÓ΢µ÷£¨Supervised Fine-tuning£¬£¬£¬£¬SFT£©£¬£¬£¬£¬´óÄ£×ÓÔò»ò¶à»òÉÙÅöÃæÁÙ֪ʶØÑ·¦µÄÎÊÌ⣬£¬£¬£¬Ëæ¼´·ºÆð¡°»Ã¾õ¡±Õ÷Ï󣬣¬£¬£¬¶Ô²»¶®µÄÎÊÌâ×ö³öÒ»±¾Õý¾µÄ»Ø¸²¡£¡£¡£¡£¡£¡£
ÒÔÇ°ÃæµÄÐÎò¿ÉÒÔ¿´³ö£¬£¬£¬£¬Í¬Ñù¶¼½Ð¡°´óÄ£×Ó¡±£¬£¬£¬£¬µ«Ïêϸ¼ÄÒåºÍÊÊÓùæÄ£ÉÏÊDZ£´æ²î±ðµÄ¡£¡£¡£¡£¡£¡£ÄÇô´óÄ£×ÓÉÐÓÐÄÄЩÌõÀí»®·ÖÄØ£¿£¿£¿£¿
L0-L2´óÄ£×Ó·Ö²ã¼Ü¹¹
ΪÁ˼ÓËÙ´óÄ£×ÓÂ䵨Àú³Ì£¬£¬£¬£¬¿É½«´óÄ£×Ó»®·ÖΪL0»ù´¡´óÄ£×Ó¡¢L1ÐÐÒµ´óÄ£×Ó¡¢L2Ó¦ÓôóÄ£×ÓÈý¸öÌõÀí£º
ͨË×À´½²£¬£¬£¬£¬L0»ù´¡´óÄ£×ÓÏñÊÇѧϰËùÓпÆÄ¿µÄ¸ßÖÐÉú£¬£¬£¬£¬L1ÐÐÒµ´óÄ£×ÓÀàËÆÓÚÑ¡¶¨×¨ÒµµÄ´óѧÉú£¬£¬£¬£¬L2Ó¦ÓôóÄ£×ÓÔòÊÇÑ¡¶¨Ìض¨Æ«ÏòµÄÑо¿Ô±¡£¡£¡£¡£¡£¡£ÕâÖּܹ¹µÄÓÅÊÆÔÚÓÚ£¬£¬£¬£¬½«´óÄ£×ÓÓ¦ÓÃÓÚÓªÒµµÄ°ì·¨Á÷³Ì»¯£¬£¬£¬£¬¼ÓËÙÕûÌåÂ䵨Àú³Ì£¬£¬£¬£¬½µ½µµÍµØ±¾Ç®¡£¡£¡£¡£¡£¡£Í¬Ê±£¬£¬£¬£¬¹ØÓÚL0-L2ÌõÀíµÄ»®·Ö£¬£¬£¬£¬Ò²ÈÃÓªÒµÊý¾ÝµÄ³ÁµíÔ½·¢ÓÐÌõÀí£¬£¬£¬£¬Àû±ãÊý¾ÝÒ»Ö±»ØÁ÷µ½´óÄ£×Ó£¬£¬£¬£¬Ò»Ö±ÓÅ»¯´óÄ£×ÓÖÇÄÜˮƽ¡£¡£¡£¡£¡£¡£
ÔÚÎÒÃǹØ×¢µÄÍøÂçÇå¾²ÁìÓò£¬£¬£¬£¬ÓÐÁËÇå¾²´óÄ£×Ӻ󣬣¬£¬£¬Ïêϸ¿ÉÒÔÓ¦ÓÃÔÚÄÄЩ³¡¾°ÖУ¬£¬£¬£¬Îª¼øºÚµ£±£ÍøÒ»Ñùƽ³£ÊÂÇé´øÀ´ÄÜÁ¦ºÍЧÂʵÄÌáÉýÄØ£¿£¿£¿£¿
Çå¾²´óÄ£×ÓµÄÓ¦Óó¡¾°
Çå¾²´óÄ£×ÓÔÚL2²ãÃæ¾ßÓÐÆÕ±éµÄÓ¦Óó¡¾°¡£¡£¡£¡£¡£¡£Çå¾²´óÄ£×Óͨ³£ÔÊÐíÓû§Í¨¹ý×ÔÈ»ÓïÑÔÊäÈëµÄ·½·¨Íê³ÉÇå¾²ÔËÓªµÄÒ»Ñùƽ³£²Ù×÷£¬£¬£¬£¬Æ¾Ö¤Óû§ÊäÈ룬£¬£¬£¬°´ÐèŲÓÃÒÑÓеÄСģ×ӺͲúÆ·¹¦Ð§£¬£¬£¬£¬ÊµÏÖ¾Þϸģ×ÓÐͬµÄÖÇÄÜË㷨ϵͳ¡£¡£¡£¡£¡£¡£
ÕâÖÖ×ÔÈ»ÓïÑÔŲÓù¦Ð§Ä£¿£¿£¿£¿éµÄ·½·¨£¬£¬£¬£¬¿ÉÒÔʹÓôóÄ£×ÓµÄ֪ʶ´¢±¸ºÍÃ÷È·ÍÆÀíÄÜÁ¦£¬£¬£¬£¬ÎªÁìÓòÎÊÌâÌṩרҵµÄ½â¾ö¼Æ»®¡£¡£¡£¡£¡£¡£Í¬Ê±£¬£¬£¬£¬¹ØÓÚÒѾÓÐÏà¹ØÂÄÀúµÄÇ徲ר¼Ò£¬£¬£¬£¬Ôò¿ÉÒÔͨ¹ý´óÄ£×ÓÌáÉýͨÀýÆÊÎöÊÂÇéµÄЧÂÊ¡£¡£¡£¡£¡£¡£¼´¡¿ÕÊÖúͨË×È˳ÉΪר¼Ò£¬£¬£¬£¬×ÊÖúר¼ÒÌáÉýЧÂÊ¡±¡£¡£¡£¡£¡£¡£
ÏÂ̦̾¾ÙһЩ³£¼ûµÄÇå¾²´óÄ£×ÓÓ¦Óó¡¾°£º
Ó¦Óó¡¾°1£ºÇå¾²ÔËÓª
Çå¾²±¨¸æ£º´óÄ£×ÓÍùÍù¿ÉÒÔÔÚ¼¸·ÖÖÓÄÚ»ã×ÜÖ¸¶¨¹æÄ£ÄÚµÄËùÓи澯ÊÂÎñ£¬£¬£¬£¬²¢ÇÒÌìÉú×ÛºÏÐÔÇå¾²±¨¸æ£¬£¬£¬£¬¹©Ç徲ר¼ÒÉó²é¡£¡£¡£¡£¡£¡£
¸æ¾¯½â¶Á£ºÊµÏÖ¹ØÓÚÇå¾²ÊÂÎñµÄÒªº¦ÒªËØ£¬£¬£¬£¬°üÀ¨¸æ¾¯ÄÚÈÝ¡¢ÊÂÎñÀàÐÍ¡¢¹¥»÷ÊÖ·¨¡¢×ʲúÊôÐԵȾÙÐÐרҵÆÊÎöÏ¢Õù¶Á£¬£¬£¬£¬ÌìÉú½â¶Á±¨¸æ£¬£¬£¬£¬¸¨ÖúÓû§¸æ¾¯ÑÐÅС£¡£¡£¡£¡£¡£
¸æ¾¯ËÝÔ´£º¹ØÓÚÌØÊâµÄ¸æ¾¯£¬£¬£¬£¬Ç徲ר¼Ò¿ÉÒÔͨ¹ý´óÄ£×Ó¾ÙÐнøÒ»²½ËÝÔ´ÆÊÎö£¬£¬£¬£¬ÒªÇó´óÄ£×ÓÆ¾Ö¤ÖÕ¶ËÈÕÖ¾ÌìÉúËÝԴͼµÈ¡£¡£¡£¡£¡£¡£
ÏìÓ¦´¦Öóͷ££º»ùÓÚÊÂÎñÐÅÏ¢ºÍÇå¾²×°±¸°²ÅÅÐÅÏ¢£¬£¬£¬£¬ÓÉ´óÄ£×Ó×Ô¶¯ÌìÉúÊÂÎñ´¦Öóͷ£Õ½ÂÔ£¬£¬£¬£¬Éϱ¨Óû§½øÈ¥Ð޸ĻòÈ·ÈÏ£¬£¬£¬£¬ ʵÏÖ¶Ô¹¥»÷ÐÐΪµÄ¿ìËÙÏìÓ¦¡£¡£¡£¡£¡£¡£
Ó¦Óó¡¾°2£ºÖªÊ¶ÕûºÏ
Çå¾²ÎÊ´ð£ºÍ¨¹ý¹¹½¨Ç徲֪ʶ¿â£¬£¬£¬£¬´óÄ£×Ó¿ÉÒԻظ²Óû§µÄÇå¾²ÎÊÌâ¡£¡£¡£¡£¡£¡£Óû§¿ÉÒÔÅÌÎÊÖÖÖÖÍøÂçÇå¾²¡¢Ö÷»úÇå¾²µÈ·½ÃæµÄÎÊÌ⣬£¬£¬£¬²¢´Ó»Ø¸²ÖлñȡרҵµÄÇå¾²ÐÅÏ¢ºÍ½¨Òé¡£¡£¡£¡£¡£¡£
Ó¦Óó¡¾°3£º´úÂëÖÎÀí
Îó²îÐÞ¸´£º´óÄ£×Ó¿ÉÒÔÆ¾Ö¤Îó²îÆÊÎöЧ¹û£¬£¬£¬£¬ÌìÉúµ÷½â°ì·¨¡¢×Ô¶¯Ö´ÐÐÖØ´óµÄΣº¦»º½â»î¶¯»òÔÚÎÞÐèÓû§½»»¥µÄÇéÐÎÏÂÐÞ²¹Èí¼þ£¬£¬£¬£¬Õâ´ó´ó¼ÓËÙÁËÖÎÀíÎó²îºÍÌá¸ß×éÖ¯Çå¾²ÐÔµÄËÙÂÊ¡£¡£¡£¡£¡£¡£
¶ñÒâ¾ç±¾£º´óÄ£×Ó¿ÉÒÔÆÊÎöÏ¢ÕùÊͶñÒâ¾ç±¾ÐÐΪ£¬£¬£¬£¬ÐÖúÓû§·¢Ã÷±£´æÍþвµÄ¾ç±¾¡£¡£¡£¡£¡£¡£ËüÔÊÐíÓû§µ¼Èë¾ç±¾²¢ÆÊÎöÆäÊÇ·ñ±£´æ¶ñÒâÐÐΪ£¬£¬£¬£¬¼ì²â»ººÍ½âDZÔÚÍþв£¬£¬£¬£¬±ê¼Ç©±¨ºÍɨ³ýÎ󱨡£¡£¡£¡£¡£¡£
Ó¦Óó¡¾°4£ººÏ¹æ¼à¿Ø
Êý¾Ý´óÆÁ£º´óÄ£×Ó¿ÉÒÔ×Ô¶¯ÌìÉúÕâЩÊý¾Ý´óÆÁÀ´¼à¿Ø×éÖ¯Êý¾ÝµÄºÏ¹æÐÔ£¬£¬£¬£¬¿ÉÒÔ×ÊÖúÇ徲ר¼ÒÇáËɸú×ٺϹæÄ¿µÄµÄ½ø¶È²¢ÏòÉóºËԱչʾ¡£¡£¡£¡£¡£¡£
ºÏ¹æÐÞ¸´£º´óÄ£×Ó¿ÉÒÔͨ¹ýºÏ¹æÐÔÉó¼ÆÐ§¹û£¬£¬£¬£¬ÌṩÏìÓ¦µÄÐÞ¸´½¨Ò飬£¬£¬£¬×ÊÖúÆóÒµµÖ´ïî¿Ïµ±ê×¼¡£¡£¡£¡£¡£¡£
Ò»Á¬¸üУºËæ×ÅÐÐÒµ±ê×¼µÄ¸üкÍÖÎÀí»ú¹¹¸ü¸ÄÆä¹æÔòÒªÇ󣬣¬£¬£¬ºÏ¹æÉó¼ÆÍùÍùÐèÒª×ö³öÏìӦת±ä¡£¡£¡£¡£¡£¡£´óÄ£×Ó¿ÉÒÔ¿ìËٵĸú½øÕâЩת±ä£¬£¬£¬£¬²¢Ìṩָµ¼½¨Òé¡£¡£¡£¡£¡£¡£