SWE-bench Verified
Un benchmark validé par l'humain de 500 problèmes logiciels réels pour l'évaluation de l'IA.
Visiter le siteswebench.com
Description
SWE-bench Verified est un sous-ensemble validé par l'humain de 500 échantillons conçus pour évaluer la capacité des modèles d'IA à résoudre des problèmes d'ingénierie logicielle du monde réel. Issu de problèmes GitHub dans des dépôts Python populaires, il met les agents d'IA au défi de générer des correctifs qui réussissent les tests unitaires. Ce benchmark est idéal pour les chercheurs et les développeurs axés sur l'avancement de l'IA pour le développement logiciel, offrant un harnais d'évaluation robuste et reproductible.
Infos rapides
Fonctionnalités
Un sous-ensemble validé par l'humain de problèmes d'ingénierie logicielle
Comprend 500 échantillons d'ingénierie logicielle validés par l'humain
Chaque échantillon est issu d'un problème GitHub trouvé dans l'un des 12 dépôts Python open-source
Utilise un harnais d'évaluation basé sur Docker pour des évaluations reproductibles
Guides associés
Alternatives à SWE-bench Verified
Vous cherchez une alternative à SWE-bench Verified ? Découvrez ces solutions IA similaires.
Questions fréquentes sur SWE-bench Verified
Oui, SWE-bench Verified propose une offre free. Un benchmark validé par l'humain de 500 problèmes logiciels réels pour l'évaluation de l'IA.
SWE-bench Verified est un sous-ensemble validé par l'humain de 500 échantillons conçus pour évaluer la capacité des modèles d'IA à résoudre des problèmes d'ingénierie logicielle du monde réel. Issu de...
Les fonctionnalités clés de SWE-bench Verified incluent : Un sous-ensemble validé par l'humain de problèmes d'ingénierie logicielle, Comprend 500 échantillons d'ingénierie logicielle validés par l'humain, Chaque échantillon est issu d'un problème GitHub trouvé dans l'un des 12 dépôts Python open-source, Utilise un harnais d'évaluation basé sur Docker pour des évaluations reproductibles.
SWE-bench Verified s'adresse principalement aux professionnels et entreprises. Un benchmark validé par l'humain de 500 problèmes logiciels réels pour l'évaluation de l'IA.
Parmi les alternatives populaires à SWE-bench Verified, on retrouve Mistral AI, Glean, Agentplace. Comparez leurs fonctionnalités sur Decod.tech pour trouver l'outil le mieux adapté.
SWE-bench Verified reste pertinent en 2026. SWE-bench Verified est un sous-ensemble validé par l'humain de 500 échantillons conçus pour évaluer la capacité des modèles d'IA à résoudre des problè Le modèle tarifaire est free. Consultez les avis et comparaisons sur Decod.tech pour décider.
SWE-bench Verified propose un plan free. Vous pouvez commencer gratuitement et passer à un plan payant selon vos besoins. Consultez la page tarifs sur le site officiel.