Esta publicación fue escrita por Tara Shankar Jana, gerente sénior de marketing técnico de productos en Microsoft.
¿Qué pasaría si pudiéramos infundir IA en las herramientas diarias que usamos, para deleitar a los usuarios cotidianos? Con solo un poco de creatividad, y el poder de la plataforma de IA de Microsoft detrás de nosotros, ahora es más fácil que nunca crear aplicaciones habilitadas para IA que puedan sorprender a los usuarios.
¡Presentamos Snip Insights!
Snip Insights, una herramienta de IA multiplataforma de código abierto para la captura de pantalla inteligente, es un cambio radical en términos de cómo los usuarios pueden generar información a partir de sus capturas de pantalla. El prototipo inicial de Snip Insights, creado para el sistema operativo Windows y lanzado en Microsoft Build 2018 en mayo, fue creado por Becarios de Microsoft Garage con sede en Vancouver, Canadá.
Nuestro equipo en Microsoft Laboratorio de IAen colaboración con Microsoft CTO de IA equipo, llevó Snip Insights al siguiente nivel al darle a la herramienta una nueva interfaz de usuario intuitiva, agregar soporte multiplataforma (para MacOS, Linux y Windows) y ofrecer descarga y uso gratuitos bajo la licencia de MSA.
Snip Insights aprovecha las API de Microsoft Azure Cognitive Services y ayuda a aumentar la productividad de los usuarios al proporcionarles automáticamente información inteligente sobre sus capturas de pantalla.
Descripción general de la solución
Snip Insights aprovecha los servicios de inteligencia artificial en la nube y, según la imagen capturada en pantalla, puede convertirla en texto traducido, detectar y etiquetar imágenes automáticamente y proporcionar sugerencias de imágenes inteligentes que mejoran el flujo de trabajo del usuario. Este simple acto de combinar una herramienta de escritorio cotidiana familiar con Azure Cognitive Services nos ha ayudado a crear una ventanilla única para obtener información sobre imágenes.
Por ejemplo, imagine que ha escaneado un libro de texto o un informe de trabajo. En lugar de tener que escribir manualmente la información que contiene, cortarlo ahora le proporcionará texto editable, gracias al poder de OCR. O tal vez te estás desplazando por las redes sociales y te encuentras con alguien que usa un par de zapatos geniales; ahora puedes recortar eso para saber dónde comprarlos. Snip Insights incluso puede ayudarlo a identificar personas famosas y lugares de interés populares.
En el pasado, tenía que tomar la captura de pantalla, guardar la imagen, subirla a un motor de búsqueda de imágenes y luego sacar sus conclusiones y puntos de vista a partir de ahí.
Esto es mucho más inteligente, ¿no?
Capacidades clave
-
Búsqueda de celebridades: Recorte la imagen de una celebridad y la herramienta le proporcionará información relevante sobre ellos.
-
Detección de objetos y búsqueda visual de Bing: Te gusta la camiseta que lleva tu amigo en su última publicación en las redes sociales y quieres saber dónde puedes comprarla. ¡Ningún problema! Simplemente use Snip Insights y podrá ver imágenes de productos coincidentes y dónde comprarlos, ¡todo en cuestión de segundos!
-
OCR, traducción de idiomas y soporte multiplataforma: Encuentra una cita o frase en inglés y desea convertirla a francés u otro idioma. Simplemente use Snip Insights y puede hacerlo sin esfuerzo. Además, la herramienta es gratuita y funciona en Windows, Linux y MacOS, ¡así que todos están cubiertos!
Plataformas compatibles
Snip Insights está disponible en estas tres plataformas:
- Plataforma universal de Windows (UWP)
- Mac OS
- linux
Xamarin
Xamarin.Forms le permite crear interfaces de usuario nativas para iOS, Android, macOS, Linux y Windows desde una única base de código compartida.
Puede sumergirse en el desarrollo de aplicaciones con Xamarin.Forms siguiendo nuestro aprendizaje autoguiado gratuito de la Universidad Xamarin. Xamarin.Forms tiene soporte de vista previa para aplicaciones GTK#. GTK# es un kit de herramientas de interfaz gráfica de usuario que vincula el kit de herramientas GTK+ y una variedad de bibliotecas GNOME, lo que permite el desarrollo de aplicaciones gráficas GNONE completamente nativas usando Mono y .NET. Obtenga más información aquí: Xamarin.Forms GTK#.
Instalación
ventanas
- Descarga el zip de aquí.
- Instale el certificado (archivo “.cer”) según las instrucciones del Instalar certificado sección.
- Instale Snip Insights haciendo doble clic en el archivo del paquete .appx.
linux
- Instale Mono siguiendo los pasos apropiados según su distribución de Linux, https://www.mono-project.com/download/stable/#download-lin.
- Instale el paquete .deb desde aquí.
- Inicie la aplicación desde la sección de aplicaciones.
Mac OS
- Descarga e instala Mono (canal estable): https://www.mono-project.com/download/stable/. Esto incluye GTK#, el kit de herramientas de interfaz de usuario en el que se basa Xamarin.Forms, para este proyecto.
- Instale el .pckg como una aplicación macOS normal desde aquí.
- La aplicación Snip Insights está disponible en la sección de aplicaciones en macOS.
Requisitos
Usando su propia suscripción
Para agregar las claves a Snip Insights, un Microsoft Garage Project, inicie la aplicación. Una vez que se ejecuta, haga clic/toque el ícono de Configuración en la barra de herramientas. Desplácese hacia abajo hasta que encuentre el interruptor “Servicios cognitivos, Habilitar asistencia de IA” y colóquelo en la posición Activado. Ahora debería ver la sección Claves de servicio de Insight.
- Búsqueda de entidades: cree un nuevo servicio cognitivo de búsqueda de entidades. Una vez creado, puede mostrar las claves. Seleccione uno y péguelo en “Configuración”.
- Análisis de imágenes: en Azure, cree un servicio cognitivo **API de Computer Vision** y use su clave.
- Búsqueda de imágenes: en Azure, cree un servicio cognitivo de la API de Bing Search v7 y use su clave.
- Reconocimiento de texto: puede usar la misma clave que se usó en el análisis de imagen anterior. Tanto el análisis de imágenes como el reconocimiento de texto utilizan la API de Computer Vision.
- Traductor: utilice el servicio cognitivo de la API de texto del traductor.
- Moderador de contenido: use el servicio cognitivo de la API del moderador de contenido.
Para el ID y la clave de la aplicación de LUIS, deberá crear una aplicación de Comprensión de idiomas en el Portal de comprensión de idiomas en https://www.luis.ai. Utilice los siguientes pasos para crear su aplicación LUIS y recuperar una ID de aplicación:
- Haga clic en el botón Crear nueva aplicación.
- Proporcione un nombre de aplicación. Deje Cultura (inglés) y Descripción como valores predeterminados.
- Haga clic en Listo.
- En el panel de navegación izquierdo, haga clic en Entidades.
- Haga clic en Administrar entidades de compilación previa.
- Seleccione datetimeV2 y correo electrónico.
- Haga clic en Listo.
- Haga clic en el botón Entrenar en la parte superior de la página.
- Haga clic en la pestaña Publicar.
- Haga clic en el botón Publicar en el espacio de producción.
- En la parte inferior de la pantalla, verá una lista con un campo Cadena de clave. Haga clic en el botón Copiar y pegue ese valor clave en el campo Clave LUIS en la configuración de Snip Insights.
- Haga clic en la pestaña Configuración (en la parte superior).
- Copie el Id. de la aplicación que se muestra y péguelo en el campo Id. de la aplicación LUIS en Configuración de Snip Insights.
Ahora puede pegar cada clave en el panel de configuración de la aplicación. Recuerde hacer clic en el botón Guardar después de ingresar todas las claves.
NOTA: Para cada clave ingresada hay un punto final de servicio correspondiente. Se incluyen algunos puntos finales predeterminados (puede usarlos como ejemplo), pero cuando copie cada clave, también verifique y reemplace el punto final del servicio para cada servicio que esté utilizando. Encontrará el punto final de servicio para cada Cognitive Service en la página de descripción general. Recuerde hacer clic en el botón Guardar después de actualizar todos los Puntos finales de servicio.
En resumen
Si llegó hasta aquí y siguió los pasos anteriores, tendrá una aplicación completamente funcional para comenzar. ¡Felicidades! ¡Esperamos que se divierta probando el proyecto y gracias de antemano por su contribución! Puede encontrar el código, el proceso de desarrollo de la solución y otros detalles en GitHub.
Esperamos que esta publicación lo inspire a comenzar con la IA hoy y lo motive a convertirse en un desarrollador de IA.
Tara
Relacionado:
EasySMPC: una herramienta sin código simple pero poderosa para la computación multiparte práctica y segura | BMC Bioinformática
Pantalla | Significado de pantalla
