Tabla de enlaces
Resumen y 1 Introducción
- Revisión de literatura
- Modelo
- Experimentos
- Viaje de despliegue
- Instrucciones y referencias futuras
5 Viaje de implementación
En esta sección, discutimos varias preguntas orientadas al usuario que abordamos, así como nuestra experiencia en la implementación de PCIC.
5.1 Implementación y experiencia en línea
Si bien las métricas fuera de línea son informativas y nos ayudan a construir modelos competentes, la verdadera prueba de un modelo de recomendaciones está en línea, donde podemos medir el impacto en el comportamiento del usuario. Implementamos PCIC en un entorno de producción donde las recomendaciones se generan diariamente en nuestro clúster de cómputo en un ecosistema Apache Spark y se exportan a la nube para una porción en tiempo actual. Cuando un usuario visita el
Sitio, estas recomendaciones se les sirven, filtradas en la disponibilidad del elemento según el inventario y las opciones de envío disponibles seleccionadas por el usuario.
5.2 Comentarios humanos en el bucle
Primero lanzamos los resultados a un grupo de miembros internos del equipo para realizar pruebas. Esto nos dio algunos comentarios sobre tener una lista de exclusión de algunas categorías que los usuarios pueden no sentirse muy cómodos mirando, en su aplicación (con amigos y familiares o de otra manera). Según los comentarios, creamos una lista de exclusión de categorías que se aplican además de las recomendaciones como filtros.
En segundo lugar, descubrimos que los usuarios a veces se les recomendaba un artículo que habían comprado recientemente (por ejemplo, un nuevo sabor de yogurt) de una categoría donde recompensan, pero no a uno que les gustaría recomprar. Utilizamos un filtro de enfoque de dos pasos para el filtro de dichos elementos de las recomendaciones. Además de que la categoría es una categoría de recompra, tratamos de asegurarnos de que el artículo fuera comprado por el invitado al menos dos veces en los últimos n meses (n = 6). Esto ayuda al cliente a identificar los artículos en la lista de comprar nuevamente como un artículo que ha repetido. En segundo lugar, identificamos elementos con bajas tasas de recompra (comparable al umbral de tasas de recompra en RCP [2]) y los eliminó.
Varios usuarios también notaron que generalmente compran más de un artículo de una categoría Spectic (por ejemplo, dos o más sabores de yogurt) en un solo viaje. En el backend, podemos tener una lista clasificada de categorías y una lista clasificada de elementos dentro de cada categoría. Originalmente, el modelo PCIC redondearía a Spherical Robin entre estas listas para fusionar una nueva lista que tiene el primer elemento en cada categoría seguido de un segundo elemento en cada categoría y así sucesivamente hasta que la lista esté terminada. Para un usuario que compra más de un artículo por categoría en cada viaje, esto puede ser inconveniente. Para resolver esto, calculamos una variable 𝑁𝐼𝐵 que denota el número de veces que el usuario compró el artículo por viaje. Ajustamos las matemáticas utilizadas para combinar las dos listas dividiendo el rango de elementos por NIB y luego tomando una función de techo para crear nuevos rangos de elementos.
5.3 Métricas
Para cuantificar el impacto del algoritmo PCIC propuesto, realizamos pruebas A/B contra las líneas de base en línea existentes. Cada prueba se realizó durante más de dos semanas y se detuvo después de garantizar que las muestras sean estadísticamente significativas. Las métricas consideradas para las pruebas se definen de la siguiente manera:
• CTR o Haga clic en la tasa: porcentaje de pantallas de recomendación que el invitado hizo clic.
• Tasa de conversión: porcentaje de recomendaciones haciendo clic que fueron compradas por el invitado el mismo día.
• Unidades: el número whole de unidades compradas por los usuarios que formaron parte del tratamiento.
5.4 Pruebas contra la línea de base
Cuando presentamos Purchase It Once more Listas de recomendaciones a la experiencia de compra de invitados, A/B probamos PCIC en una línea de base de FBETHT. Los resultados se dan en la Tabla 5. Podemos ver que hay un aumento significativo en las tres métricas: 6% en CTR, 9% en conversión y 27% en unidades compradas.
5.5 Pruebas Cómpralo nuevamente en la búsqueda internet
Probamos agregar una lista de recomendaciones de comprar it it Once more a los resultados de búsqueda de todos los usuarios. Para esto, filtramos los resultados de comprar nuevamente utilizando el contexto de consulta de búsqueda, por lo que si alguien buscara toalla de papel, la lista de recomendaciones de BIA se filtraría para mostrar solo toallas de papel. Como una fracción appreciable de las búsquedas de usuarios no pertenece a los elementos que el usuario ya ha comprado, la mayoría de las veces esta lista de recomendaciones no se mostraría al invitado. Encontramos que la interacción del usuario con esta lista de recomendaciones fue significativamente mayor que los resultados de búsqueda existentes (en más del 20%). Mientras probábamos una lista de recomendaciones contra una inexistente, utilizamos métricas de nivel de visita para evaluar BIA. Se observó que los valores de pedido promedio de suma, y las unidades por pedido aumentaron en un 0-2%. También observamos que los invitados pudieron agregar directamente los elementos al carro desde la lista de recomendaciones y posteriormente exploraron menos elementos a pesar de tener un mayor agregado a los carros. Estas métricas consolidan nuestra creencia de que mostrar los artículos para comprarlo nuevamente ayuda al huésped en su experiencia de compra.
5.6 Construcción de pasillos virtuales
Los estudios de investigación y nuestras encuestas internas indican que la experiencia de compra de comestibles en línea para los usuarios es significativamente diferente de la experiencia típica de la tienda de usuarios [4]. La variedad de canasta de compras es significativamente menor para los viajes de compras en línea, según lo medido por la cantidad de categorías y artículos únicos comprados. Los entornos de compra de comestibles en línea pueden acelerar la inercia del consumidor, lo que lleva a la recompra de elementos esenciales y la reducción de la compra de verduras frescas, compras de impulso como dulces o postres de panadería y gastos discrecionales.
Después de identificar estas oportunidades en el desarrollo de la experiencia de compra en línea, en 2021, lanzamos BIA a los invitados filtrando recomendaciones por categorías (leche, yogurt, belleza, and so forth.) para crear una experiencia de pasillos virtuales para usuarios en línea. Utilizamos la lista personalizada de categorías para cada invitado utilizando el modelo de PC. Para cada categoría, presentamos una lista de elementos recomendados del modelo IC para formar un pasillo digital. En cada pasillo, primero mostramos los elementos de BIA del invitado seguidos de otros elementos relevantes (generados usando otros algoritmos y personalizados para cada invitado, no discutidos aquí por brevedad). Llegamos la experiencia directamente a los usuarios e informamos el ascensor en la experiencia de los invitados que usaron la experiencia contra aquellos que no interactúan con ella.
Los usuarios que interactuaron con estas recomendaciones tuvieron un aumento significativo en las unidades por pedido (25-50%) y el valor de pedido promedio (7-35%). Dado que Purchase It nuevamente esencial son artículos de boletos más bajos, tienen un impacto en dólares más pequeño en el valor del orden que las unidades por pedido. Vimos una mayor participación de invitados con experiencia en pasillos virtuales para cateogories de frecuencia en la aplicación que en el sitio.
6 direcciones futuras
Cómprelo nuevamente las recomendaciones ayudan a los usuarios a completar rápidamente sus misiones de compras. Los enfoques tradicionales tienden a modelar el comportamiento personalizado de los huéspedes en la granularidad del artículo. En este artículo, presentamos el caso de un modelo de grano grueso que puede capturar el comportamiento del cliente a nivel de categoría de elementos.
El modelo de categoría personalizada (PC) propuesto combinado con el modelo de elementos dentro de la categoría (IC) supera a los modelos BIA y NBR existentes en conjuntos de datos públicos estándar. El modelo PCIC también escala bien para grandes minoristas con catálogos de productos de millones de tamaño y millones de invitados activos. Las pruebas A/B en el sitio muestran una mejora significativa en la experiencia de compra de huéspedes y los huéspedes gastan utilizando el modelo.
En el futuro, recomendamos que los minoristas exploren modelos que combinan las concepts de las características de categoría personalizadas con características de artículos personalizados. Además, recomendamos considerar la excitación mutua entre elementos y categorías, ya que el consumo simultáneo tiene una relación inherente con el consumo repetido.
Referencias
[1] 1959. El patrón de compras del consumidor. Revista de la Royal Statistical Society. Serie C (Estadísticas aplicadas) 8, 1 (1959), 26–41.
[2] Rahul Bhagat, Srevatsan Muralidharan, Alex Lobzhanidze y Shankar Vishwanath. 2018. Compéelo nuevamente: modelado de recomendaciones de compra de repetición. En Actas de la 24ª Conferencia Internacional SIGKDD ACM sobre Discovery de Conocimientos y Minería de datos. 62–70.
[3] Chris Chatfield y Gerald Goodhardt. 1973. Un modelo de compra de consumidores con los tiempos de entre compra de Erlang. J. Amer. Estadístico. Asociación 68 (1973), 828–835.
[4] Sai Chand Chintala, Jura Liaukonyte y Nathan Yang. 2022. ¿Examinar los pasillos o navegar por la aplicación? Cómo las compras de comestibles en línea están cambiando lo que compramos. Cómo las compras en línea de comestibles están cambiando lo que compramos (8 de agosto de 2022) (2022).
[5] Dr. Cox. 1972. Modelos de regresión y tablas de vida. Journal of the Royal Statistical Society 34 (1972), 187–220.
[6] Suvodip Dey, Pabitra Mitra y Kratika Gupta. 2016. Recomendar compras repetidas utilizando estadísticas de segmento de productos. En Actas de la décima Conferencia ACM sobre Sistemas de Recomendación (Boston, Massachusetts, EE. UU.) (Recsys ’16). Asociación para la Maquinaria de Computación, Nueva York, NY, EE. UU., 357–360. https: //doi.org/10.1145/2959100.2959145
[7] PS Fader, BG Hardie y Ok Lee. 2009. Modelos de probabilidad para el análisis de la base del cliente. Journal of Interactive Advertising and marketing 23 (2009).
[8] Sofía Gomes y João M Lopes. 2022. Evolución de la experiencia de compra de comestibles en línea durante la pandemia Covid-19: estudio empírico de Portugal. Journal of Theoretical and Utilized Digital Commerce Analysis 17, 3 (2022), 909–923.
[9] Gary L. Grahn. 1969. Modelo NBD de lealtad de repetición-compra: una investigación empírica. Journal of Advertising and marketing Analysis 6 (1969), 72 – 78.
[10] Ruinando él, Wang-Cheng Kang, Julian J McAuley, et al. 2018. Recomendación basada en la traducción: un método escalable para modelar el comportamiento secuencial. En IJCAI. 5264–5268.
[11] Arruinando él y Julian McAuley. 2016. Fusioning de modelos de similitud con cadenas de Markov para una recomendación secuencial escasa. En 2016, la 16ª Conferencia Internacional de Datos IEEE (ICDM). IEEE, 191–200.
[12] Haoji Hu y Xiangnan He. 2019. SetS2Sets: aprendiendo de conjuntos secuenciales con redes neuronales. En Actas de la 25ª Conferencia Internacional SIGKDD SIGKDD sobre Descubrimiento de Conocimientos y Minería de datos. 1491–1499.
[13] Haoji Hu, Xiangnan He, Jinyang Gao y Zhi-Li Zhang. 2020. Modelado de información de frecuencia de elementos personalizados para la recomendación de la próxima cesta. En Actas de la 43a Conferencia Internacional de ACM Sigir sobre investigación y desarrollo en recuperación de información. 1071–1080.
[14] Komal Kapoor, Karthik Subbian, Jaideep Srivastava y Paul R. Schrater. 2015. Justo en el tiempo Recomendaciones: Modelado de la dinámica del aburrimiento en las corrientes de actividad. Actas de la Octava Conferencia Internacional de ACM sobre búsqueda en la internet y minería de datos (2015).
[15] Komal Kapoor, Mingxuan Solar, Jaideep Srivastava y Tao Ye. 2014. Un enfoque basado en peligros para la predicción del tiempo de retorno del usuario. Actas de la Conferencia Internacional de ACM Sigkdd sobre descubrimiento de conocimiento y minería de datos (08 de 2014). https://doi.org/10.1145/2623330.2623348
[16] Joseph A Konstan, Bradley N Miller, David Maltz, Jonathan L Herlocker, Lee R Gordon y John Riedl. 1997. Grouplens: aplicando filtrado colaborativo a Usenet Information. Comun. ACM 40, 3 (1997), 77–87.
[17] Yehuda Koren. 2009. Filtrado colaborativo con dinámica temporal. En Actas de la 15ª Conferencia Internacional SIGKDD de ACM sobre descubrimiento de conocimiento y minería de datos. 447–456.
[18] Pengjie Ren, Zhumin Chen, Jing Li, Zhaochun Ren, Jun Ma y Maarten de Rijke. 2019. Repetnet: una máquina de recomendación neural consciente de repetición para la recomendación basada en la sesión. En Actas de la Conferencia AAAI sobre Inteligencia Synthetic, vol. 33. 4806–4813.
[19] Steffen Rendle, Christoph Freudenthaler y Lars Schmidt-Thieme. 2010. Factorizando las cadenas de Markov personalizadas para la recomendación de la próxima cesta. En Actas de la 19ª Conferencia Internacional sobre World Extensive Internet. 811–820.
[20] Haochao Ying, Fuzhen Zhuang, Fuzheng Zhang, Yanchi Liu, Guandong Xu, Xing Xie, Hui Xiong y Jian Wu. 2018. Sistema de recomendación secuencial basado en la crimson de atención jerárquica. En la Conferencia Internacional Conjunta de IJCAI sobre inteligencia synthetic.
[21] Feng Yu, Qiang Liu, Shu Wu, Liang Wang y Tieniu Tan. 2016. Un modelo recurrente dinámico para la recomendación de la próxima canasta. En Actas de la 39a Conferencia Internacional de ACM Sigir sobre investigación y desarrollo en recuperación de información. 729–732.
Autores:
(1) Amit Pande, Knowledge Sciences, Goal Company, Brooklyn Park, Minnesota, EE. UU. ([email protected]);
(2) Kunal Ghosh, Knowledge Sciences, Goal Company, Brooklyn Park, Minnesota, EE. UU. ([email protected]);
(3) Rankyung Park, Knowledge Sciences, Goal Company, Brooklyn Park, Minnesota, EE. UU. ([email protected]).