Ã÷ÂԿƼ¼PRE-MAPÁ¢ÒìAIÕ¹ÍûÄ£×ÓÏà¹ØÂÛÎı»ACM MM 2025ÎüÊÕ
2025-07-09
¿ËÈÕ£¬£¬£¬£¬£¬Ã÷ÂԿƼ¼Óë±±¾©´óѧ¡¢¼ªÁÖ´óѧÏàÖúµÄ×îÐÂÑо¿Ð§¹û¡¶PRE-MAP: Personalized Reinforced Eye-tracking Multimodal LLM for High-Resolution Multi-Attribute Point Prediction¡·±»ACM MM 2025ÕýʽÎüÊÕ¡£¡£¡£¡£¡£¡£¡£¡£¸ÃÑо¿Îª½â¾öÏÖÓÐÊÓ¾õ×¢ÖØÁ¦Ä£×ÓÔÚ¸öÐÔ»¯×¢ÊÓµãÕ¹ÍûÖеľÖÏÞÐÔ£¬£¬£¬£¬£¬Ìá³öÁËÒ»ÖÖеÄÒªÁ죨PRE-MAP£©ºÍÒ»¸ö´ó¹æÄ£¶àģ̬Êý¾Ý¼¯£¨SPA-ADV£©£¬£¬£¬£¬£¬ÒÔ¸üºÃµØ²¶»ñ¸öÌå²î±ð²¢Ìá¸ß¸ßÇø·ÖÂÊÊÓÆµÖеĶàÊôÐÔ×¢ÊÓµãÕ¹Íû¾«¶È¡£¡£¡£¡£¡£¡£¡£¡£
ACM MM 2025
ACM MM 2025£¨ACM International Conference on Multimedia 2025£©ÍýÏ뽫ÓÚ2025Äê10ÔÂ27-31ÈÕÔÚ°®¶ûÀ¼¶¼°ØÁÖ¾ÙÐС£¡£¡£¡£¡£¡£¡£¡£¸Ã¾Û»áÓɹú¼ÊÅÌËã»úѧ»á£¨ACM£©Ö÷Àí£¬£¬£¬£¬£¬ÊÇÈ«Çò¶àýÌåÊÖÒÕÁìÓòµÄÆì½¢¾Û»á£¬£¬£¬£¬£¬Í¬Ê±Ò²ÊÇÖйúÅÌËã»úѧ»á£¨CCF£©ÍƼöµÄAÀà¹ú¼ÊѧÊõ¾Û»á¡£¡£¡£¡£¡£¡£¡£¡£

¡¸ÂÛÎÄÎÊÌ⡹RPE-MAP: Personalized Reinforced Eye-tracking Multimodal LLM for High-Resolution Multi-Attribute Point Prediction
£¨PRE-MAP£ºÓÃÓÚ¸ßÇø·ÖÂʶàÊôÐÔ×¢ÊÓµãÕ¹ÍûµÄ¸öÐÔ»¯ÑÛ¶¯×·×Ù¶àģ̬´óÓïÑÔÄ£×Ó£©
¡¸ÂÛÎÄ×÷Õß¡¹Î⺮±ù*¡¢½ªÆ½*¡¢ËÕ°²ì¾*¡¢ÕÔ³¿Ðñ¡¢¸µÌìÓî¡¢ÎâÃ÷»Ô¡¢Ì·±±Æ½¡¢Àî»ÛÓ¯
£¨*ΪÅäºÏµÚÒ»×÷Õߣ©
¡¸Ñо¿Ð§¹û¼òÊö¡¹
1. Ö±»÷ÐÐÒµ½¹µãÍ´µã
ÔÚµ±½ñµÄÊý×Ö¹ã¸æÁìÓò£¬£¬£¬£¬£¬Ã÷È·ÏûºÄÕßµÄÑ۹⽹µãÖÁ¹ØÖ÷Òª¡£¡£¡£¡£¡£¡£¡£¡£È»¶ø£¬£¬£¬£¬£¬²î±ðÅä¾°µÄ¹ÛÖÚ£¨ÈçÄêËê¡¢ÐÔ±ð¸÷Ò죩ÔÚԢĿͳһÊÓÆµ¹ã¸æÊ±£¬£¬£¬£¬£¬Æä×¢ÖØÁ¦ÂþÑÜÒ²½ØÈ»²»Í¬£¬£¬£¬£¬£¬¹Å°åÊÖÒÕÈ´ÎÞ·¨²¶»ñÕâÖÖ¸öÐÔ»¯²î±ð¡£¡£¡£¡£¡£¡£¡£¡£¹Å°åµÄÏÔÖøÐÔÕ¹ÍûÄ£×Óͨ³£½ÓÄÉÖ§½âÒªÁ죬£¬£¬£¬£¬ÒÀÀµÓÚ½µ²ÉÑùµÄµÍÇø·ÖÂÊͼÏñÀ´ÌìÉúÏÔÖøÐÔÈÈͼ£¬£¬£¬£¬£¬Ëæºó½«Æä·Å´óµ½ÔÉúÇø·ÖÂÊ£¬£¬£¬£¬£¬ÕâÏÞÖÆÁËËüÃDz¶»ñ¸öÐÔ»¯×¢ÖØÁ¦Ä£Ê½µÄÄÜÁ¦¡£¡£¡£¡£¡£¡£¡£¡£
2. ¹¹½¨¸ßÖÊÁ¿Êý¾Ý»ù×ù
Ϊ¹¥¿ËÕâÒ»ÄÑÌ⣬£¬£¬£¬£¬Ñо¿ÍŶӿª´´ÐԵؽ¨ÉèÁËÒµ½çÁìÏȵĴó¹æÄ£¸öÐÔ»¯×¢ÊÓÐÐΪÊý¾Ý¼¯£¨SPA-ADV£©£¬£¬£¬£¬£¬Ê״μͼÁËÁè¼Ý4500Ãû²î±ðÄêËêÓëÐÔ±ðÅä¾°Óû§µÄÕæÊµÊÓ¾õÐÐΪ¡£¡£¡£¡£¡£¡£¡£¡£¸ÃÊý¾Ý¼¯Ìṩ׼ȷµÄ¸öÌå¼¶×¢ÊÓµã×ø±ê£¬£¬£¬£¬£¬Îª¸öÐÔ»¯ÏÔÖøÐÔ½¨Ä£ÌṩÁ˸ßÖÊÁ¿µÄ»ù×¼Êý¾ÝÖ§³Ö¡£¡£¡£¡£¡£¡£¡£¡£
3. Ñз¢¸ß¾«¶ÈÕ¹ÍûÄ£×Ó
»ùÓÚ´ËÊý¾Ý¼¯£¬£¬£¬£¬£¬ÍŶÓÑз¢ÁËPRE-MAPÁ¢ÒìAIÕ¹ÍûÄ£×Ó¡£¡£¡£¡£¡£¡£¡£¡£¸ÃÄ£×ÓÄܽáÊÊÓû§µÄСÎÒ˽¼ÒÌØÕ÷£¬£¬£¬£¬£¬Ê¹ÓÃ×îÇ°ÑØµÄ¶àģ̬´óÄ£×ÓÊÖÒÕ£¬£¬£¬£¬£¬Ôöǿģ×ӵķº»¯ÄÜÁ¦ºÍ¸öÐÔ»¯Õ¹ÍûЧ¹û£¬£¬£¬£¬£¬¾«×¼Õ¹Íû³ö¡°Ä³Ò»ÀàÈ˻ῴÄÇÀ£¬£¬£¬£¬£¬ÓÐÓýâ¾öÏÖÓÐAIÄ£×ÓÕ¹Íû½û¾ø¡¢ÄÑÒÔ¾Û½¹¸öÐÔ»¯ÈÈÃŵÄÎÊÌ⣬£¬£¬£¬£¬×ÊÖúÆ·ÅÆ·½ºÍ¹ã¸æÉ̸ü¿ÆÑ§µØÓÅ»¯¹ã¸æ´´Òâ¡¢ÆÀ¹ÀͶ·ÅЧ¹û£¬£¬£¬£¬£¬ÊµÏÖÕæÕýµÄ¡°¾«×¼´¥´ï¡±¡£¡£¡£¡£¡£¡£¡£¡£
´Ë´ÎЧ¹û²¢·ÇÁæØêµÄÍ»ÆÆ£¬£¬£¬£¬£¬¶øÊÇÃ÷ÂԿƼ¼ÔÚ¶àģ̬ÁìÓòºã¾ÃÇÒÉî¶È¸û×÷µÄÒ»¶¨Ð§¹û£¬£¬£¬£¬£¬ÕÃÏÔÁ˹«Ë¾ÔÚÇ°ÑØAIÊÖÒÕ̽Ë÷Óë´óÄ£×ÓÓ¦ÓÃÂ䵨ÉϵÄǰհÐԽṹ£º
ÔçÔÚ2023Ä꣬£¬£¬£¬£¬Ã÷ÂԿƼ¼ÂÊÏȳÉΪº£ÄÚÊ×¼Ò»ùÓÚ¶àģ̬´óÓïÑÔÄ£×Ó£¨MLLM£©ÊµÏÖÖÇÄÜÉ罻ýÌåÄÚÈÝÆÊÎöºÍÕ½ÂÔÌìÉúµÄÆóÒµ£¬£¬£¬£¬£¬Ê׶Ƚ«¶àģ̬´óÓïÑÔÄ£×Ó£¨MLLM£©Ó¦ÓÃÓÚʶ±ð²¢Õ¹ÍûÄÜ´øÀ´×î¼ÑÓªÏúЧ¹ûµÄ¶àÑù»¯ÄÚÈÝÀàÐÍ£¬£¬£¬£¬£¬¿ª·¢ÁË¹ã¸æÁìÓòȫеĶàģ̬ÊÖÒÕÓ¦ÓÃÈüµÀ¡£¡£¡£¡£¡£¡£¡£¡£
2024Ä꣬£¬£¬£¬£¬Ã÷ÂԿƼ¼ÍƳö³¬Í¼¶àģ̬´óÐÍÓïÑÔÄ£×Ó£¨HMLLM£©£¬£¬£¬£¬£¬½øÒ»²½ÕûºÏÁËÄÔµçµÈ·Ç±êģ̬Êý¾Ý£¬£¬£¬£¬£¬Ö§³ÖÆóÒµ¶Ô¹ã¸æËزÄÖеÄʵÌå¡¢ÇéÐ÷¡¢Ð§¹û¡¢³¡¾°¼°ÊÜÖڵȶàÑù»¯ÔªËؾÙÐÐÉî¶ÈÆÊÎö£¬£¬£¬£¬£¬´Ó¶øÌáÉýÓªÏúЧ¹û£¬£¬£¬£¬£¬ÌìÉúÕ¹ÍûЧ¹ûÓÅÒìµÄÓÐÓÃÓªÏúÄÚÈÝ£¬£¬£¬£¬£¬²¢ÎªÆóÒµÊÓÆµ¹ã¸æÌṩ¶àά¶ÈÓÅ»¯½¨Òé¡£¡£¡£¡£¡£¡£¡£¡£³¬Í¼¶àģ̬´óÐÍÓïÑÔÄ£×Ó£¨HMLLM£©µÄÏà¹ØÐ§¹ûÔøÈÙ»ñACM MM 2024×î¼ÑÂÛÎÄÌáÃû¡£¡£¡£¡£¡£¡£¡£¡£
½ñÄê6Ô£¬£¬£¬£¬£¬»ùÓÚ×ÔÑеij¬Í¼¶àģ̬´óÐÍÓïÑÔÄ£×Ó£¨HMLLM£©£¬£¬£¬£¬£¬Ðͬ»ìÏýר¼Ò£¨MoE£©Ä£×Ó£¬£¬£¬£¬£¬Ã÷ÂԿƼ¼ÔÙÍÆÁ¢ÒìЧ¹û ¡ª¡ª AIÇý¶¯µÄÈ«Çò»¯¹ã¸æ²âÊÔ¼°ÓÅ»¯Æ½Ì¨ AdEff¡£¡£¡£¡£¡£¡£¡£¡£¸Ãƽ̨רΪȫÇò¹ã¸æ´´ÒâÕÉÁ¿´òÔ죬£¬£¬£¬£¬¿É¿ìËÙ¡¢×¼È·Õ¹ÍûÏûºÄÕß¶Ô¹ã¸æµÄÖ÷¹Û·´Ó¦ºÍ¹ã¸æÐ§¹û£¬£¬£¬£¬£¬²¢¸ø³öÓÅ»¯½¨Òé¡£¡£¡£¡£¡£¡£¡£¡£ÔÚ²âÊÔЧÂÊ´ó·ùÌáÉýµÄͬʱ£¬£¬£¬£¬£¬ÏÔÖø½µµÍ¹ã¸æ²âÊÔ±¾Ç®£¬£¬£¬£¬£¬ÈÃÆóÒµÓÐʱ»ú¶Ôÿһ֧¹ã¸æ¾ÙÐвâÊÔ£¬£¬£¬£¬£¬ÔÚ ¡°´´Òâ¸ÐÐÔ¡± Óë ¡°ÉÌÒµÀíÐÔ¡± Ö®¼äÕÒµ½Æ½ºâ¡£¡£¡£¡£¡£¡£¡£¡£
Ö±ÖÁ7Ô±¾´ÎÑо¿Ð§¹û±»ÎüÊÕ£¬£¬£¬£¬£¬±ê¼Ç×ÅÃ÷ÂԿƼ¼ÔÚ¶àģ̬ѧϰÕâÒ»È˹¤ÖÇÄÜÇ°ÑØÆ«ÏòÈ¡µÃÁËÓÖÒ»Í»ÆÆÐÔÏ£Íû£¬£¬£¬£¬£¬²¹ÆëÁË¹ã¸æÕ¹ÍûÄ£×ÓÖС°Óû§¸öÐÔ»¯ÊÓµã×·×Ù¡±ÕâÒ»Òªº¦Æ´Í¼¡£¡£¡£¡£¡£¡£¡£¡£Ëü¼ÈÊÇÍÆ¶¯¹ã¸æÕ¹ÍûÄ£×Ó¸ßÖÊÁ¿Éú³¤µÄÖ÷ÒªÒ»»·£¬£¬£¬£¬£¬Ò²ÕÑʾ×Å»úеÃ÷È·ÈËÀà¸ÐÖªµÄ¾«¶È¼´½«ÂõÉÏеĄ̈½×¡£¡£¡£¡£¡£¡£¡£¡£
ÔÚÊý×Ö»¯ÄÚÈÝÈÕÒæË鯬»¯µÄ½ñÌ죬£¬£¬£¬£¬AIÇý¶¯µÄ¿ÆÑ§Õ¹ÍûÒѳÉΪÌáÉýÄÚÈÝ´¥´ïЧÂʵÄÒªº¦ÒýÇæ¡£¡£¡£¡£¡£¡£¡£¡£Ã÷ÂԿƼ¼ÔÚ¶àģ̬ѧϰÁìÓòµÄϵͳÐÔʵ¼ù£¬£¬£¬£¬£¬½«ÔÚÆ·Ð§ÌáÉý¡¢±¾Ç®ÓÅ»¯ºÍÄÚÈÝÁ¢Òì²ãÃæÕ¹ÏÖ³öÁÉÀ«µÄÓ¦ÓüÛÖµ¡£¡£¡£¡£¡£¡£¡£¡£
פ×ãÓÚ´Ë£¬£¬£¬£¬£¬Ã÷ÂԿƼ¼µÄÊÓÒ°²»Ö¹ÓÚ¶àģ̬ÁìÓòµÄÉî¸û¡£¡£¡£¡£¡£¡£¡£¡£Î´À´£¬£¬£¬£¬£¬¹«Ë¾½«ÃæÏò¸üÁÉÀ«µÄAI´óÄ£×Ó¼°AgentÊÖÒÕÁìÓòÒ»Á¬Ì½Ë÷£¬£¬£¬£¬£¬ÖÂÁ¦ÓÚ½«Ç°ÑØ¿ÆÑÐЧ¹ûת»¯ÎªÇ¿Ê¢µÄ¹¤Òµ¶¯ÄÜ£¬£¬£¬£¬£¬Çý¶¯¹ã¸æÓªÏúÒÔÖ¸ü¶àÐÐÒµµÄÖÇÄÜ»¯Éý¼¶£¬£¬£¬£¬£¬Îª¹¹½¨¸ßЧ¡¢ÖÇÄܵÄÊÖÒÕÉú̬Т˳ʵÁ¦¡£¡£¡£¡£¡£¡£¡£¡£
ÐÅÏ¢Ìîд