Openai compra promptfoo para fortalecer la seguridad en la ia empresarial
En un movimiento clave para reducir los riesgos de la implementación de inteligencia artificial en empresas, OpenAI ha adquirido la startup de seguridad Promptfoo.
La tecnología de promptfoo se integrará en openai frontier para crear y gestionar agentes de ia seguros
A través de esta adquisición, OpenAI busca garantizar que sus agentes de IA, llamados 'colaboradores de IA' por la empresa, cuenten con las protecciones y acceso a datos adecuados. De esta manera, las grandes empresas podrán gestionar sus problemas de seguridad en modelos de inteligencia artificial durante el desarrollo.
OpenAI y sus rivales compiten por desarrollar agentes de IA más avanzados que puedan realizar tareas complejas con una intervención humana mínima.
La adquisición de Promptfoo por parte de OpenAI refleja un compromiso para que la IA empresarial sea potente, segura y fiable, afirmó Ganesh Bell, director gerente de Insight Partners, la firma que lideró una ronda de financiación de 18,4 millones de dólares en la startup de seguridad el año pasado.
Promptfoo, fundada hace dos años en San Francisco, crea herramientas de código abierto para probar la seguridad de sistemas de IA y ayuda a las empresas a intentar atacar sus propios productos para encontrar vulnerabilidades, un proceso conocido como red-teaming. La startup cuenta con aproximadamente una cuarta parte de las empresas de la lista Fortune 500 entre sus clientes.
OpenAI también ha tomado medidas para dotar a sus productos y agentes de IA de funciones de seguridad. Recientemente, la empresa presentó un agente de IA para ayudar a los equipos de seguridad a encontrar y parchear vulnerabilidades en grandes bases de datos, similar a una herramienta de su rival Anthropic PBC.