par Une semaine après avoir annoncé une vague de mises à jour pour sa suite entreprise de produits basés sur l'IA Copilot, Microsoft lance de nouvelles fonctionnalités Copilot sur Windows pour tous les utilisateurs, y compris un outil capable de comprendre et de répondre aux questions sur ce qui est sur votre écran.
Des applications Copilot actualisées pour iOS, Android, Windows et le Web sont déployées aujourd'hui, et toutes disposent d'un Copilot avec un style plus « chaleureux » et « distinct », comme le décrit Microsoft. Microsoft apporte également le chatbot à WhatsApp, permettant aux utilisateurs de discuter avec Copilot via DM, similaire à l'expérience que vous obtenez avec d'autres robots sur la plate-forme de messagerie de Meta.
Vision copilote
Copilot Vision a une vue de ce que vous consultez sur votre PC – plus précisément, une lentille sur les sites que vous visitez avec Microsoft Edge. Basé sur Copilot Labs, un nouveau programme opt-in exclusif à Copilot Pro pour les capacités expérimentales de Copilot, Copilot Vision peut analyser du texte et des images sur des pages Web et répondre à des requêtes (par exemple, « Quelle est la recette de la nourriture sur cette image ? ») sur eux.
Vision, qui peut être affiché en tapant « @copilot » dans la barre d'adresse d'Edge, n'est pas vraiment une merveille technique. Google propose une technologie de recherche similaire sur Android et a récemment apporté des éléments de cette technologie à Chrome.
Mais Microsoft suggère que Copilot Vision est plus puissant et plus soucieux de la confidentialité que les fonctionnalités d'analyse d'écran précédentes.
“Copilot Vision peut… suggérer les prochaines étapes, répondre aux questions, vous aider à naviguer dans tout ce que vous voulez faire et vous aider dans les tâches, tout en lui parlant simplement en langage naturel”, a écrit Microsoft dans un article de blog partagé avec Testeur Joe. « Imaginez que vous essayez de meubler un nouvel appartement. Copilot Vision peut vous aider à rechercher des meubles, à trouver la bonne palette de couleurs, à réfléchir à vos options sur tout, des tapis aux plaids, et même à suggérer des façons d'organiser ce que vous regardez.
Sans doute désireux d'éviter une nouvelle vague de mauvaise presse due à des erreurs de confidentialité liées à l'IA, Microsoft souligne que Copilot Vision a été conçu pour supprimer les données immédiatement après les conversations. L'audio, les images ou le texte traités ne sont pas stockés ou utilisés pour entraîner des modèles, affirme la société – du moins pas dans cette version d'aperçu.
Copilot Vision est également limité dans les types de sites Web qu'il peut interpréter. Pour le moment, Microsoft empêche la fonctionnalité de fonctionner sur du contenu payant et « sensible », limitant Vision à une liste pré-approuvée de propriétés Web « populaires ».
Qu’implique exactement un contenu « sensible » ? Porno? Violence? À ce stade, Microsoft ne dirait rien.
Les accusations de contournement des paywalls avec des outils d’IA ont récemment mis Microsoft dans une situation délicate sur le plan juridique. Dans un procès en cours, le New York Times a allégué que Microsoft avait permis aux utilisateurs de contourner son paywall en diffusant des articles du New York Times via le chatbot Copilot sur Bing. Lorsqu'il y est invité d'une certaine manière, Copilot – qui est alimenté par les modèles d'OpenAI, un proche collaborateur de Microsoft – donnerait des extraits textuels (ou presque textuels) d'histoires payantes, selon le Times.
Microsoft a déclaré que Copilot Vision, qui est disponible uniquement aux États-Unis pour le moment, respectera les « contrôles lisibles par machine sur l'IA » des sites, comme les règles qui interdisent aux robots de récupérer des données pour la formation à l'IA. Mais l'entreprise n'a pas dit précisément quels contrôles Vision respectera ; il y en a plusieurs en usage. Nous avons demandé des éclaircissements à Microsoft.
De nombreux grands éditeurs ont choisi d'empêcher les outils d'IA d'explorer leurs sites Web, non seulement par crainte que leurs données soient utilisées sans autorisation, mais également pour empêcher ces outils de faire monter en flèche les coûts de leurs serveurs. Si la tendance actuelle se maintient, Copilot Vision pourrait ne pas fonctionner sur certains des principaux sites d'information du Web.
Microsoft a déclaré qu'il s'engageait à « prendre en compte les commentaires » pour apaiser les inquiétudes.
“Avant de nous lancer à grande échelle, nous continuerons à affiner nos mesures de sécurité et à maintenir la confidentialité et la responsabilité au centre de tout ce que nous faisons”, a déclaré Microsoft dans le billet de blog. « Il n’y a pas de traitement spécifique du contenu d’un site internet que vous visitez [with Copilot]ni aucune formation en IA – Copilot Vision lit et interprète simplement les images et le texte qu'il voit sur la page pour la première fois avec vous.
Réfléchissez plus profondément
Comme pour Vision, la nouvelle fonctionnalité Think Deeper de Copilot tente de rendre l'assistant de Microsoft plus polyvalent.
Think Deeper donne à Copilot la possibilité de raisonner sur des problèmes plus complexes, a déclaré Microsoft, grâce à des « modèles de raisonnement » qui prennent plus de temps avant de répondre avec des réponses étape par étape.
Quels modèles de raisonnement ? Microsoft était un peu méfiant lorsque j'ai posé la question, disant seulement que Think Deeper utilise « les derniers modèles d'OpenAI, peaufinés par Microsoft ». En lisant entre les lignes, il y a fort à parier qu'il s'agit d'une version personnalisée du modèle o1 d'OpenAI.
“Nous avons conçu Think Deeper pour qu'il soit utile à toutes sortes de défis pratiques quotidiens, comme comparer côte à côte deux options complexes”, a écrit Microsoft dans un article de blog. “Think Deeper peut vous aider dans tous les domaines, depuis la résolution de problèmes mathématiques difficiles jusqu'à l'évaluation des coûts de gestion de projets domestiques.”
Microsoft a beaucoup parlé du potentiel de Think Deeper dans ses documents de presse. Mais en supposant que le modèle ci-dessous soit o1, il sera très certainement insuffisant dans certains domaines. Nous sommes curieux de voir quel type d'améliorations Microsoft a apporté au modèle de base et quelle sera la prochaine réflexion sur ses limites.
Think Deeper sera disponible à partir d'aujourd'hui pour un nombre limité d'utilisateurs de Copilot Labs en Australie, au Canada, en Nouvelle-Zélande, aux États-Unis et au Royaume-Uni.
Voix du copilote
Une nouvelle fonctionnalité Copilot généralement disponible aujourd'hui est Copilot Voice (à ne pas confondre avec Copilot Voice de GitHub). Lancé en anglais en Nouvelle-Zélande, au Canada, en Australie, au Royaume-Uni et aux États-Unis, Voice ajoute quatre voix synthétiques, vous permettant de parler à Copilot et de faire exprimer ses réponses à haute voix.
Comme le mode vocal avancé d'OpenAI pour ChatGPT, Copilot Voice peut capter votre ton pendant les conversations et répondre en conséquence, et vous pouvez intervenir à tout moment pendant que Copilot Voice répond. Un porte-parole de Microsoft m'a dit que le mode utilise « la dernière technologie vocale avec de nouveaux modèles qui ont été peaufinés pour l'application Copilot ». Quelle technologie ? Quels modèles ? Pour ce qui est des détails, c'est maman qui a le mot.
Une chose à savoir : Copilot Voice a une limite d’utilisation basée sur le temps. Les abonnés Copilot Pro bénéficient de plus de minutes mais le nombre est « variable », m'a dit Microsoft, en fonction de la demande.
Personnalisation
Copilot sera bientôt mieux adapté à vos goûts et préférences, a déclaré Microsoft, grâce à un nouveau paramètre de personnalisation.
Lorsque le paramètre est activé, Copilot s'appuiera sur vos interactions et votre historique passés, ainsi que sur vos interactions avec d'autres applications et services Microsoft (Microsoft ne dira pas lesquels) pour recommander des façons d'utiliser Copilot.
“Cela vous aide à démarrer”, a écrit Microsoft dans un article de blog, “en offrant à la fois un guide pratique des fonctionnalités utiles de Copilot et des démarreurs de conversation.”
La personnalisation dans Copilot, qui peut être désactivée dans le menu des paramètres de Copilot sous Windows, n'est pas prévue pour le Royaume-Uni ou l'UE de si tôt. Mais les utilisateurs d’ailleurs devraient commencer à voir le décor cet après-midi.
Microsoft et l'UE entretiennent des relations difficiles en ce qui concerne le déploiement de produits d'IA de l'entreprise. En mai, l'UE a averti Microsoft qu'elle pourrait être condamnée à une amende pouvant atteindre 1 % de son chiffre d'affaires annuel mondial en vertu du régime de gouvernance en ligne du bloc, la loi sur les services numériques, après que l'entreprise n'a pas répondu à une demande d'informations axée sur son IA générative. outils.
Un certain nombre de géants de la technologie au-delà de Microsoft, notamment Apple et Meta, ont adopté une approche prudente lors du lancement d'outils d'IA dans l'UE, craignant d'enfreindre les lois du bloc régissant la confidentialité des données et le déploiement de modèles.
“Pour les utilisateurs de l'Espace économique européen (EEE) et d'un nombre limité d'autres pays, nous évaluons les options avant de proposer ce niveau de personnalisation Copilot à ces utilisateurs”, a déclaré un porte-parole de Microsoft à Testeur Joe. “Certaines fonctionnalités ne seront disponibles dans l'EEE qu'à une date ultérieure.”
rewrite this content and keep HTML tags
Une semaine après avoir annoncé une vague de mises à jour pour sa suite entreprise de produits basés sur l'IA Copilot, Microsoft lance de nouvelles fonctionnalités Copilot sur Windows pour tous les utilisateurs, y compris un outil capable de comprendre et de répondre aux questions sur ce qui est sur votre écran.
Des applications Copilot actualisées pour iOS, Android, Windows et le Web sont déployées aujourd'hui, et toutes disposent d'un Copilot avec un style plus « chaleureux » et « distinct », comme le décrit Microsoft. Microsoft apporte également le chatbot à WhatsApp, permettant aux utilisateurs de discuter avec Copilot via DM, similaire à l'expérience que vous obtenez avec d'autres robots sur la plate-forme de messagerie de Meta.
Vision copilote
Copilot Vision a une vue de ce que vous consultez sur votre PC – plus précisément, une lentille sur les sites que vous visitez avec Microsoft Edge. Basé sur Copilot Labs, un nouveau programme opt-in exclusif à Copilot Pro pour les capacités expérimentales de Copilot, Copilot Vision peut analyser du texte et des images sur des pages Web et répondre à des requêtes (par exemple, « Quelle est la recette de la nourriture sur cette image ? ») sur eux.
Vision, qui peut être affiché en tapant « @copilot » dans la barre d'adresse d'Edge, n'est pas vraiment une merveille technique. Google propose une technologie de recherche similaire sur Android et a récemment apporté des éléments de cette technologie à Chrome.
Mais Microsoft suggère que Copilot Vision est plus puissant et plus soucieux de la confidentialité que les fonctionnalités d'analyse d'écran précédentes.
“Copilot Vision peut… suggérer les prochaines étapes, répondre aux questions, vous aider à naviguer dans tout ce que vous voulez faire et vous aider dans les tâches, tout en lui parlant simplement en langage naturel”, a écrit Microsoft dans un article de blog partagé avec Testeur Joe. « Imaginez que vous essayez de meubler un nouvel appartement. Copilot Vision peut vous aider à rechercher des meubles, à trouver la bonne palette de couleurs, à réfléchir à vos options sur tout, des tapis aux plaids, et même à suggérer des façons d'organiser ce que vous regardez.
Sans doute désireux d'éviter une nouvelle vague de mauvaise presse due à des erreurs de confidentialité liées à l'IA, Microsoft souligne que Copilot Vision a été conçu pour supprimer les données immédiatement après les conversations. L'audio, les images ou le texte traités ne sont pas stockés ou utilisés pour entraîner des modèles, affirme la société – du moins pas dans cette version d'aperçu.
Copilot Vision est également limité dans les types de sites Web qu'il peut interpréter. Pour le moment, Microsoft empêche la fonctionnalité de fonctionner sur du contenu payant et « sensible », limitant Vision à une liste pré-approuvée de propriétés Web « populaires ».
Qu’implique exactement un contenu « sensible » ? Porno? Violence? À ce stade, Microsoft ne dirait rien.
Les accusations de contournement des paywalls avec des outils d’IA ont récemment mis Microsoft dans une situation délicate sur le plan juridique. Dans un procès en cours, le New York Times a allégué que Microsoft avait permis aux utilisateurs de contourner son paywall en diffusant des articles du New York Times via le chatbot Copilot sur Bing. Lorsqu'il y est invité d'une certaine manière, Copilot – qui est alimenté par les modèles d'OpenAI, un proche collaborateur de Microsoft – donnerait des extraits textuels (ou presque textuels) d'histoires payantes, selon le Times.
Microsoft a déclaré que Copilot Vision, qui est disponible uniquement aux États-Unis pour le moment, respectera les « contrôles lisibles par machine sur l'IA » des sites, comme les règles qui interdisent aux robots de récupérer des données pour la formation à l'IA. Mais l'entreprise n'a pas dit précisément quels contrôles Vision respectera ; il y en a plusieurs en usage. Nous avons demandé des éclaircissements à Microsoft.
De nombreux grands éditeurs ont choisi d'empêcher les outils d'IA d'explorer leurs sites Web, non seulement par crainte que leurs données soient utilisées sans autorisation, mais également pour empêcher ces outils de faire monter en flèche les coûts de leurs serveurs. Si la tendance actuelle se maintient, Copilot Vision pourrait ne pas fonctionner sur certains des principaux sites d'information du Web.
Microsoft a déclaré qu'il s'engageait à « prendre en compte les commentaires » pour apaiser les inquiétudes.
“Avant de nous lancer à grande échelle, nous continuerons à affiner nos mesures de sécurité et à maintenir la confidentialité et la responsabilité au centre de tout ce que nous faisons”, a déclaré Microsoft dans le billet de blog. « Il n’y a pas de traitement spécifique du contenu d’un site internet que vous visitez [with Copilot]ni aucune formation en IA – Copilot Vision lit et interprète simplement les images et le texte qu'il voit sur la page pour la première fois avec vous.
Réfléchissez plus profondément
Comme pour Vision, la nouvelle fonctionnalité Think Deeper de Copilot tente de rendre l'assistant de Microsoft plus polyvalent.
Think Deeper donne à Copilot la possibilité de raisonner sur des problèmes plus complexes, a déclaré Microsoft, grâce à des « modèles de raisonnement » qui prennent plus de temps avant de répondre avec des réponses étape par étape.
Quels modèles de raisonnement ? Microsoft était un peu méfiant lorsque j'ai posé la question, disant seulement que Think Deeper utilise « les derniers modèles d'OpenAI, peaufinés par Microsoft ». En lisant entre les lignes, il y a fort à parier qu'il s'agit d'une version personnalisée du modèle o1 d'OpenAI.
“Nous avons conçu Think Deeper pour qu'il soit utile à toutes sortes de défis pratiques quotidiens, comme comparer côte à côte deux options complexes”, a écrit Microsoft dans un article de blog. “Think Deeper peut vous aider dans tous les domaines, depuis la résolution de problèmes mathématiques difficiles jusqu'à l'évaluation des coûts de gestion de projets domestiques.”
Microsoft a beaucoup parlé du potentiel de Think Deeper dans ses documents de presse. Mais en supposant que le modèle ci-dessous soit o1, il sera très certainement insuffisant dans certains domaines. Nous sommes curieux de voir quel type d'améliorations Microsoft a apporté au modèle de base et quelle sera la prochaine réflexion sur ses limites.
Think Deeper sera disponible à partir d'aujourd'hui pour un nombre limité d'utilisateurs de Copilot Labs en Australie, au Canada, en Nouvelle-Zélande, aux États-Unis et au Royaume-Uni.
Voix du copilote
Une nouvelle fonctionnalité Copilot généralement disponible aujourd'hui est Copilot Voice (à ne pas confondre avec Copilot Voice de GitHub). Lancé en anglais en Nouvelle-Zélande, au Canada, en Australie, au Royaume-Uni et aux États-Unis, Voice ajoute quatre voix synthétiques, vous permettant de parler à Copilot et de faire exprimer ses réponses à haute voix.
Comme le mode vocal avancé d'OpenAI pour ChatGPT, Copilot Voice peut capter votre ton pendant les conversations et répondre en conséquence, et vous pouvez intervenir à tout moment pendant que Copilot Voice répond. Un porte-parole de Microsoft m'a dit que le mode utilise « la dernière technologie vocale avec de nouveaux modèles qui ont été peaufinés pour l'application Copilot ». Quelle technologie ? Quels modèles ? Pour ce qui est des détails, c'est maman qui a le mot.
Une chose à savoir : Copilot Voice a une limite d’utilisation basée sur le temps. Les abonnés Copilot Pro bénéficient de plus de minutes mais le nombre est « variable », m'a dit Microsoft, en fonction de la demande.
Personnalisation
Copilot sera bientôt mieux adapté à vos goûts et préférences, a déclaré Microsoft, grâce à un nouveau paramètre de personnalisation.
Lorsque le paramètre est activé, Copilot s'appuiera sur vos interactions et votre historique passés, ainsi que sur vos interactions avec d'autres applications et services Microsoft (Microsoft ne dira pas lesquels) pour recommander des façons d'utiliser Copilot.
“Cela vous aide à démarrer”, a écrit Microsoft dans un article de blog, “en offrant à la fois un guide pratique des fonctionnalités utiles de Copilot et des démarreurs de conversation.”
La personnalisation dans Copilot, qui peut être désactivée dans le menu des paramètres de Copilot sous Windows, n'est pas prévue pour le Royaume-Uni ou l'UE de si tôt. Mais les utilisateurs d’ailleurs devraient commencer à voir le décor cet après-midi.
Microsoft et l'UE entretiennent des relations difficiles en ce qui concerne le déploiement de produits d'IA de l'entreprise. En mai, l'UE a averti Microsoft qu'elle pourrait être condamnée à une amende pouvant atteindre 1 % de son chiffre d'affaires annuel mondial en vertu du régime de gouvernance en ligne du bloc, la loi sur les services numériques, après que l'entreprise n'a pas répondu à une demande d'informations axée sur son IA générative. outils.
Un certain nombre de géants de la technologie au-delà de Microsoft, notamment Apple et Meta, ont adopté une approche prudente lors du lancement d'outils d'IA dans l'UE, craignant d'enfreindre les lois du bloc régissant la confidentialité des données et le déploiement de modèles.
“Pour les utilisateurs de l'Espace économique européen (EEE) et d'un nombre limité d'autres pays, nous évaluons les options avant de proposer ce niveau de personnalisation Copilot à ces utilisateurs”, a déclaré un porte-parole de Microsoft à Testeur Joe. “Certaines fonctionnalités ne seront disponibles dans l'EEE qu'à une date ultérieure.”
