Las críticas escritas por IA ayudan a los humanos a notar fallas

Las críticas escritas por IA ayudan a los humanos a notar fallas

entrenamos "crítica-escritura" modelos para describir fallas en resúmenes. Los evaluadores humanos encuentran fallas en los resúmenes con mucha más frecuencia cuando se les muestran las críticas de nuestro modelo. Los modelos más grandes son mejores para la autocrítica, y la escala mejora la redacción de críticas más que la redacción de resúmenes. Esto muestra una promesa para el uso de sistemas de IA para ayudar a la supervisión humana de los sistemas de IA en tareas difíciles.

leer papelVer conjunto de datos

Queremos asegurarnos de que los futuros sistemas de IA que realicen tareas muy difíciles permanezcan alineados con la intención humana. Muchos anterior obras en la alineación de modelos de lenguaje se basan en evaluaciones humanas como una señal de entrenamiento. Sin embargo, a los humanos les cuesta evaluar tareas muy difíciles; por ejemplo, es difícil detectar cada error en una base de código o cada error fáctico en un ensayo largo. Luego, los modelos pueden aprender a dar resultados que se ven bien para los humanos pero tienen errores que sistemáticamente no notamos.

Para mitigar este problema, queremos capacitar asistentes de IA que ayuden a los humanos a brindar retroalimentación sobre tareas difíciles. Estos asistentes deben señalar fallas, ayudar a los humanos a comprender lo que está sucediendo y responder sus preguntas. Un ejemplo de esto es nuestro trabajo anterior sobre resúmenes de libros: leer el libro completo es mucho trabajo, pero a los humanos con la ayuda de resúmenes de capítulos les resulta mucho más fácil evaluar un resumen de libro.

Como prueba de concepto, utilizamos el aprendizaje supervisado para entrenar modelos de lenguaje para escribir críticas de resúmenes basados ​​en temas de cuentos, artículos de Wikipedia y otros textos de Internet. Usamos estos modelos para ayudar a los evaluadores humanos y estudiar las propiedades de escala de la escritura crítica.

Experimentos con asistencia de IA

Comparamos las calificaciones humanas de los resúmenes escritos por IA entre un grupo de control que no recibió asistencia y un grupo asistido que pudo ver 8 críticas escritas por IA. Los resúmenes se seleccionan de 3 fuentes diferentes. Los humanos asistidos encuentran aproximadamente un 50 % más de fallas en los resúmenes que los evaluadores no asistidos, y utilizan las críticas del modelo directamente para la mayoría de las críticas que encuentran.

Para ver qué tan útiles son nuestros modelos para la asistencia en la evaluación, mostramos a los etiquetadores 8 críticas escritas en modelos de cada resumen, con un grupo de control que no recibe asistencia. Usamos resúmenes basados ​​en temas de tres fuentes: escritos por nuestros modelos, escritos por humanos y escritos por humanos deliberadamente para tener fallas importantes pero sutiles.

Nueva Jersey está en el punto de mira de una gran tormenta invernal que podría paralizar partes de Nueva Inglaterra y arrojar más de un pie de nieve en Garden State para el sábado. El pronóstico sigue siendo muy volátil y puede cambiar drásticamente en las próximas 24 horas.

A lo largo del día, The Star-Ledger proporcionará actualizaciones aquí (las más recientes en la parte superior) a medida que ingrese nueva información, se emitan alertas y advertencias y cambie el pronóstico.

22:30 Los meteorólogos reiteraron esta noche las advertencias a los conductores y residentes de que una parte potencialmente peligrosa de la tormenta azotará gran parte del centro y norte de Nueva Jersey durante la hora pico de la tarde del viernes. Se esperan grandes retrasos en los viajes el viernes por la noche y el viernes por la noche a medida que la lluvia se convierta en nieve, según el pronóstico del Servicio Meteorológico Nacional.

MÁS ACTUALIZACIONES DE TORMENTA DE NIEVE

• Viernes, 8 de febrero: Tormenta de nieve en NJ: actualizaciones en vivo sobre tormentas de nieve, tráfico, inundaciones y más

• Sábado, 9 de febrero: Actualización sobre tormentas de nieve en NJ: cortes de energía, totales de nieve y otras noticias sobre tormentas

Después de períodos de lluvia, se espera que caigan fuertes nevadas en muchos lugares para el viernes por la tarde, según el pronóstico. En algunos lugares al norte de la Interestatal 78, se espera que la nieve baje entre 1 y 2 pulgadas por hora. En condados como Sussex, Morris y Warren, las acumulaciones de nieve esperadas oscilan entre 6 y 16 pulgadas.

Para muchas ciudades desde Jackson en el condado de Ocean hasta Somerville en el condado de Somerset y hacia el este hasta Long Beach Island, se espera que la acumulación de nieve oscile entre 4 y 10 pulgadas. Se esperan fuertes vientos en toda la región, alcanzando su punto máximo en el condado de Monmouth, con ráfagas de hasta 45 mph posibles.

Al amanecer del sábado, las ráfagas disminuirán y darán paso a un día soleado y ventoso, según el pronóstico más reciente.

9:12 p. m. Con los meteorólogos aún prediciendo que una gran tormenta de invierno azotará Nueva Jersey, muchas escuelas en todo el estado están cancelando o retrasando las clases de forma preventiva el viernes.

8:45 p. m. Antes de la tormenta, NJ Transit anunció que ofrecerá reconocimiento cruzado completo en todo el sistema todo el día viernes y todo el sábado, lo que permitirá a los clientes usar su boleto o pase en un modo de viaje alternativo: tren, autobús o luz carril.

5 p. m. Las firmas de truenos y nieve (que es justo lo que suena: truenos y relámpagos durante las nevadas intensas) aparecen en varios modelos, según el meteorólogo de NY NJ PA Weather, Steven DiMartino.

Esto indica la posibilidad de que caigan nevadas extremadamente fuertes en el este de Nueva Jersey mañana por la noche, y se suma a la imprevisibilidad de los totales.

“Donde obtienes algo de esta nieve convectiva, cuando caiga, caerá muy, muy fuerte”, dijo. “Es difícil determinar exactamente dónde se van a producir estas bandas. Podría terminar con una situación en la que una ciudad tiene 18 pulgadas de nieve y la siguiente ciudad tiene tres”.

DiMartino enfatizó la volatilidad que permanece en el pronóstico e instó a los residentes del estado a prestar mucha atención a las condiciones cambiantes. Muchos de los detalles de lo que finalmente sucederá en las áreas locales no se determinarán hasta que la tormenta comience a formarse mañana.

Dijo que el potencial para que se desarrollen estas bandas de nieve más pesadas puede ser la razón por la cual algunos modelos de pronóstico (como el NAM, arriba), predicen totales de nevadas mucho más fuertes que el Servicio Meteorológico Nacional.

[]

El Modelo de América del Norte (NAM), publicado esta tarde, mostró más de un pie de nieve cayendo sobre muchas áreas de Nueva Jersey.

4:13 p. m. El Servicio Meteorológico Nacional emitió una advertencia de ventisca para partes del noreste de Nueva Jersey, incluidos Newark y Jersey City, y los cinco distritos de Nueva York, donde se esperan más de 14 pulgadas de nieve junto con vientos aulladores y una reducción severa. visibilidad.

Las advertencias de ventisca están vigentes desde las 6 a. m. del viernes hasta la 1 p. Se esperan condiciones de ventisca en la costa noreste de Nueva Jersey, en el sur de los condados de Bergen y Passaic y en el este de los condados de Hudson, Essex y Union.

Más al norte y al oeste, también se esperan de 10 a 14 pulgadas de nieve, pero no se espera que los vientos alcancen los criterios de ventisca. Las advertencias de tormenta de invierno están vigentes allí.

3:24 p. m. El Servicio Meteorológico Nacional en Mount Holly ha emitido advertencias de tormenta de invierno para varios condados en el norte y el centro de Nueva Jersey y los extendió más al sur que las áreas que cubrían las alertas emitidas anteriormente.

Las advertencias de tormenta de invierno se han emitido para los condados de Sussex, Warren, Morris, Hunterdon, Middlesex, Monmouth, Ocean y el noroeste de Burlington. En los condados de Sussex, Warren y Morris, el Servicio Meteorológico Nacional espera que caigan entre diez y 16 pulgadas de nieve, mientras que otros condados en el área de advertencia podrían recibir entre seis y diez pulgadas. Las advertencias están vigentes desde las 6 am del viernes hasta las 6 am del sábado.

Espere que la oficina de Upton, NY del Servicio Meteorológico Nacional, que cubre el noreste de NJ, haga lo mismo en breve.

Más al sur, se han emitido avisos de clima invernal para el resto del estado, donde se anticipan entre dos y cinco pulgadas de nieve.

3:07 p. m. Los sectores público y privado de Nueva Jersey ahora se preparan para los grandes impactos de la tormenta.

Más de 350 vuelos de United Airlines, muchos con base en el Aeropuerto Internacional Newark-Liberty, ya han sido cancelados, según el sitio web de seguimiento de vuelos FlightAware. NJ Transit anunció que aceptarán boletos cruzados en todo su sistema. Las empresas de servicios públicos como Jersey Central Power & Light y PSE&G dicen que tendrán equipos adicionales disponibles para lidiar con los posibles problemas de energía causados ​​​​por las fuertes nevadas y el viento.

Además, se pospondrán varios eventos en todo el estado, como dos campeonatos seccionales de atletismo de escuelas secundarias. La Oficina de Manejo de Emergencias del estado aún no ha abierto su centro de operaciones en Trenton, pero sigue siendo una posibilidad. Mary Goepfert, vocera de OEM, dijo que el estado está monitoreando la tormenta de cerca y ha estado en contacto con los administradores de emergencias locales para prepararse.

2:07 p. m. El modelo europeo está adentro y parece nevado, al igual que muchos de los otros modelos que se ejecutaron anteriormente. Si esto se verificara, una nevada de más de seis a 12 pulgadas definitivamente está en las cartas para el norte y el centro de Nueva Jersey, particularmente al norte de la Interestatal-195.

El meteorólogo con sede en Freehold y propietario de NY NJ PA Weather Steven DiMartino dijo que hasta ahora le gusta más la solución europea y está de acuerdo con los totales.

¿Qué dice el NAM? pareces, preguntas? Bueno, la impresión de la nevada se publica a continuación, pero Eric Holthaus tuiteó una imagen del radar simulado producido por el modelo NAM para mañana por la noche. Un monstruo absoluto.

1:50 p. m. Las regiones más afectadas por el huracán Sandy a lo largo de la costa de Nueva Jersey están a punto de recibir otro golpe. Con las defensas ya debilitadas, las comunidades costeras podrían sufrir grandes impactos por las inundaciones costeras, y las peores se producirán el sábado por la mañana, según el Servicio Meteorológico Nacional.

«Estoy realmente preocupado por las áreas más afectadas por Sandy», dijo el meteorólogo del NWS Gary Szatkowski. “El tiempo está comenzando a jugar en nuestra contra… Podríamos ver una erosión sustancial de la playa. Sé que la gente ha estado trabajando duro, pero hay menos que erosionar. Podríamos ver fácilmente las olas y el agua entrando en áreas que normalmente no verías”.

Szatkowski dijo que está preocupado por la costa de Raritan Bay en particular, donde es posible una marejada ciclónica de tres pies durante la marea alta el sábado por la mañana, con olas de cinco a siete pies rompiendo sobre ella.

13:22 El viaje de mañana por la noche podría ser terrible en el norte de Nueva Jersey. Para las 7 pm, existe la amenaza de que las tasas de nevadas alcancen las dos pulgadas por hora en grandes franjas del norte y centro de Nueva Jersey. Las tasas de nevadas de esta magnitud podrían reducir sustancialmente la visibilidad, causar estragos en las carreteras y hacer que viajar sea peligroso, si no casi imposible.

Gary Szatkowski, meteorólogo a cargo de la oficina de Mount Holly del Servicio Meteorológico Nacional, dijo que está «muy preocupado» por el deterioro de las condiciones en la tarde y publicó un mapa en Twitter que muestra dónde estará la amenaza de nevadas intensas a las 7 p.m.

12:34 PM Una cosa importante para recordar acerca de esta tormenta es que la volatilidad en el pronóstico sigue siendo alta, a pesar de que los modelos han tenido una tendencia de nieve. El climatólogo estatal David Robinson dijo que el potencial de caída de este pronóstico es «tremendo» y que el más mínimo cambio en la trayectoria del pronóstico podría significar la diferencia entre una gran tormenta de nieve y un evento principalmente de lluvia para gran parte del estado.

Eric Holthaus, del Wall Street Journal, señala que la cantidad de aire caliente que ingresa a la región antes de la tormenta será crucial.

12:04 PM El Servicio Meteorológico Nacional en Mount Holly y Upton, Nueva York, emitieron paquetes informativos sobre la tormenta que se avecina esta mañana. Cada uno advirtió que podrían ocurrir condiciones de ventisca el viernes por la noche en el norte de Nueva Jersey. Mount Holly sugirió que las advertencias de tormenta de nieve pueden ser necesarias a medida que se desarrolla la tormenta.

Las advertencias de ventisca se emiten durante situaciones muy específicas por parte del Servicio Meteorológico Nacional. Se necesitan vientos anticipados de al menos 35 millas por hora y una visibilidad reducida a menos de un cuarto de milla durante un período de tres horas antes de que la agencia active dicha advertencia. Viajar se volvería casi imposible.

11:53 a. m. David Robinson, climatólogo estatal de la Universidad de Rutgers, dijo que no envidia a los pronosticadores de hoy y calificó a este tipo de tormenta como “el pronóstico más difícil que tendrá que hacer un meteorólogo de Nueva Jersey”. El pronóstico es complicado por varias razones, desde la geografía de Nueva Jersey hasta el perfil térmico de la atmósfera. Más sobre por qué las tormentas de invierno en Nueva Jersey son tan difíciles de precisar más adelante.

11:35 AM La orientación del modelo de pronóstico sobre la tormenta sigue variando, pero parece centrarse en una solución más nevada para el norte y el centro de Nueva Jersey. Durante la noche, varios modelos confiables (The European, GFS y NAM) mostraron soluciones muy diferentes para la tormenta, mostrando todo, desde un evento menor hasta una gran tormenta de invierno que tendría un impacto grave en los viajes en las secciones del norte del estado.

Esta mañana, tanto el GFS como el NAM mostraron que la mayor parte de Nueva Jersey al norte de la I-195 recibió varias pulgadas de nieve, quizás más de un pie en algunas áreas. La última tirada del modelo europeo, considerado uno de los más fiables, se dará a conocer aproximadamente a las 13:30 horas.

[]

El Modelo de América del Norte (NAM) muestra una solución aún más nevada para Nueva Jersey, con partes del estado que superan fácilmente un pie de nieve.

Tenga en cuenta que cada ejecución del modelo es solo una de las decenas de datos que el Servicio Meteorológico Nacional utiliza para hacer pronósticos y ningún modelo individual debe verse como una representación completa de lo que sucederá.

11:30 AM Una alerta de tormenta de invierno sigue vigente para la gran mayoría del norte y centro de Nueva Jersey. Los pronósticos actuales indican de seis a 12 pulgadas de nieve, con mayores cantidades posibles en las secciones más al norte de Nueva Jersey.

Debido a que la tormenta es muy compleja y aún queda mucha incertidumbre, en particular sobre dónde caerá la línea de lluvia/nieve, el Servicio Nacional de Meteorología está postergando la emisión de advertencias hasta esta tarde.

_La Associated Press contribuyó a este informe._

Seguir @SStirling

Nota para los lectores: si compra algo a través de uno de nuestros enlaces de afiliados, podemos ganar una comisión.

¿Qué dice el artículo sobre los efectos de la tormenta en la vida diaria?





Se espera que los eventos diarios se vean fuertemente interrumpidos durante la tormenta ya que las condiciones para una tormenta de nieve están maduras. Se espera que los viajes se vean muy afectados, y NJ Transit anunció que los viajeros podrán usar sus boletos para cualquier opción de transporte, como autobuses, transbordadores, etc. podrán usarlo para otro método. Se espera que la visibilidad sea extremadamente reducida también. Además, debido a que las áreas costeras ya han sido afectadas por el huracán Sandy, esta tormenta puede empujar las olas y el agua tierra adentro mucho más de lo que se ha visto anteriormente. El temporal también puede acabar destrozando las carreteras, imposibilitando los desplazamientos. Finalmente, muchas escuelas cancelaron escuelas de manera preventiva además de varios eventos.
Se espera que los eventos diarios se vean fuertemente interrumpidos durante la tormenta ya que las condiciones para una tormenta de nieve están maduras. Se espera que los viajes se vean muy afectados, y NJ Transit anunció que los viajeros podrán usar sus boletos para cualquier opción de transporte, como autobuses, transbordadores, etc. podrán usarlo para otro método. Se espera que la visibilidad sea extremadamente reducida también. Además, esta tormenta puede empujar las olas y el agua tierra adentro mucho más de lo que se había visto anteriormente como consecuencia del huracán Sandy. El temporal también puede acabar destrozando las carreteras, imposibilitando los desplazamientos. Finalmente, muchas escuelas cancelaron escuelas de manera preventiva además de varios eventos.
La tormenta podría paralizar partes de Nueva Inglaterra y arrojar un pie de nieve sobre Nueva Jersey. Los viajes se verán afectados. Muchos vuelos ya han sido cancelados. Las escuelas están cancelando o retrasando las clases de manera preventiva. Los eventos se posponen. Existe la amenaza de que las tasas de nevadas puedan alcanzar las dos pulgadas por hora en grandes franjas del norte y centro de Nueva Jersey. Las tasas de nevadas de esta magnitud podrían reducir sustancialmente la visibilidad, causar estragos en las carreteras y hacer que viajar sea peligroso, si no casi imposible.




La respuesta menciona incorrectamente que el ferry es una opción de tránsito alternativa durante la tormenta.

La respuesta contiene información inexacta.
La respuesta debe mencionar la posibilidad de cortes de energía.
La respuesta debe incluir la posibilidad de cortes de energía.
A la respuesta le falta la parte sobre el potencial de cortes de energía.
«etc. podrá usarlo para otro método” es incoherente
“tendrá que” debería ser “podrá” porque “transbordadores, etc.” es innecesario

A la respuesta le falta la parte sobre el potencial de cortes de energía.
La ultima frase no tiene sentido
La respuesta debería hacer alguna mención de la nieve esperada.

La respuesta contiene información inexacta.
La respuesta debe mencionar la posibilidad de cortes de energía.
La última oración es redundante y debe eliminarse.
«etc. podrá utilizarlo para otro método” no está claro y es innecesario.
La respuesta debe incluir que la tormenta debilitará las defensas de la costa que fueron debilitadas por el huracán Sandy.
La oración sobre NJ Transit está mal construida.

La respuesta debe mencionar la posibilidad de cortes de energía.
«etc. podrá utilizarlo para otro método” no está claro y es innecesario.
La respuesta debe incluir que la tormenta debilitará las defensas de la costa que fueron debilitadas por el huracán Sandy.
Esto debe señalar que la tormenta causará grandes retrasos en los viajes a medida que la lluvia se convierta en nieve.

La respuesta debe mencionar la posibilidad de cortes de energía.
La respuesta debe mencionar la advertencia de ventisca.
La respuesta omite la posibilidad de cortes de energía.
La respuesta omite los cortes de energía esperados.
La respuesta debe mencionar los cortes de energía.
La respuesta debo mencionar que las empresas de servicios públicos dicen que tendrán equipos adicionales disponibles para hacer frente a posibles problemas de energía causados ​​por fuertes nevadas y vientos.
Las oraciones segunda y tercera deben combinarse para reducir la redundancia. Además, la preposición «de» al final de la tercera oración se puede eliminar para reducir nuevamente la redundancia.

La respuesta debe mencionar la posibilidad de cortes de energía.

Aunque resumir no es realmente una tarea difícil para los humanos y nuestros modelos no son más capaces que los humanos, ya brindan una asistencia significativa: cuando se les pide que evalúen los resúmenes escritos por modelos, el grupo asistido encuentra un 50 % más de fallas que el grupo de control. . Para resúmenes deliberadamente engañosos, la asistencia aumenta la frecuencia con la que los humanos detectan la falla deseada del 27 % al 45 %.

Propiedades de escala de las críticas.

La asistencia en resúmenes escritos en modelos solo funciona si son capaces de criticarse a sí mismos. Pedimos a los humanos que califiquen la utilidad de las autocríticas escritas por modelos y descubrimos que los modelos más grandes son mejores en la autocrítica.

Los modelos más grandes son mejores para la autocrítica en nuestro dominio de resumen basado en temas: aunque los modelos más grandes tienen respuestas que son más difíciles de criticar, generan críticas más útiles de sus propios resultados. En este gráfico, la escala del modelo se mide en pérdida logarítmica (nats) después del ajuste fino. La utilidad la determina un ser humano que juzga si la crítica generada por el modelo de la respuesta generada por el modelo es válida y útil para comprender la calidad del resumen. Filtramos los resúmenes para los que los humanos encontraron una crítica.

También encontramos que los modelos grandes pueden mejorar directamente sus resultados, utilizando sus autocríticas, lo que los modelos pequeños no pueden hacer. El uso de mejores críticas ayuda a los modelos a realizar mejores mejoras que con peores críticas o sin críticas.

¿Los modelos nos cuentan todo lo que saben?

Para brindar la mejor asistencia de evaluación en tareas difíciles, nos gustaría que los modelos comuniquen todos los problemas que «saben». Cada vez que un modelo predice correctamente que una respuesta es defectuosa, ¿puede el modelo también producir una crítica concreta que los humanos entiendan?

Esto es particularmente importante para los modelos de supervisión que podrían intentar engañar a los supervisores humanos u ocultar información. Nos gustaría entrenar modelos de asistencia igualmente inteligentes para señalar lo que los humanos no notan.

Desafortunadamente, descubrimos que los modelos son mejores para discriminar que para criticar sus propias respuestas, lo que indica que conocen algunos problemas que no pueden o no articulan. Además, la brecha entre la capacidad de discriminación y crítica no pareció disminuir para los modelos más grandes. Reducir esta brecha es una prioridad importante para nuestra investigación de alineación.

Próximos pasos

Una limitación importante de este trabajo es que el resumen basado en temas en realidad no es una tarea difícil: los humanos lo entienden bastante bien y solo les toma alrededor de 10 minutos evaluar un resumen. Para comprender mejor los límites de la evaluación asistida por IA, debemos trabajar con tareas que son mucho más difíciles de evaluar para los humanos.

Sin embargo, estos resultados nos hacen optimistas de que podemos entrenar modelos para proporcionar a los humanos una asistencia de retroalimentación significativa. Este es un pilar importante de nuestra estrategia de alineación, comenzando con el trabajo sobre debate y modelado recursivo de recompensas. A largo plazo, queremos crear asistentes en los que se pueda confiar para que asuman todo el trabajo cognitivo necesario para la evaluación, de modo que los humanos puedan concentrarse en comunicar sus preferencias.

Si te interesa esta línea de investigación, estamos contratando Ingenieros de Investigación y Investigadores Científicos!

#muestra muestra #sample .truncate .js-toggler .js-toggler: hover .js-toggler.active .js-refresh-sample .critiques > * .críticas > *:last-of-type .critiques > .unhelpful :root
[data-id=»critiques-unassisted»] .critiques-human
[data-id=»critiques-assisted»] .critiques-model
[data-id=»critiques-assisted»] .critiques-human // obtener y aleatorizar muestras JSON, https://stackoverflow.com/a/35294675 // var filePath = «https://cdn.openai.com/critiques/draft-20220605a/»; // var filePath = «https://gist.githubusercontent.com/justinjaywang/b14e9d05c8203a158dac4c5a26cf8017/raw/d2be835b7d4b4514c3cb1545e85f7fe9915d7499/»; var filePath = «https://gist.githubusercontent.com/justinjaywang/e167409e9b21edde2378df90fba2a52a/raw/00ba4d779b892f16b19fa1882cce94261b480a43/»; var samples = ; var openRequest = function () ; // abrir solicitud openRequest(); var showRefresh = function () ; varfreshSample = function () ; var rand = function (l) ; // https://gist.github.com/drdrang/705071 var smarten = function (a) [-u2014/[(u2018s])»/g, «$1u201c»); // abriendo dobles a = a.replace(/»/g, «u201d»); // cerrar dobles a = a.replace(/–/g, «u2014»); // guiones largos devuelven un ; // función de alternancia var alternar = función (cuáles, otros identificadores) ; // alternadores var initToggler = function () ; var addActiveToggler = function (el) ; var removeActiveTogglers = function (els) ; // init document.addEventListener(‘DOMContentLoaded’, function () ); importar desde «https://unpkg.com/@observablehq/runtime@4.12.0/dist/runtime.js»; importar notebook_helpfulness desde «https://api.observablehq.com/d/77d06ccf5c498928.js?v=3»; importar notebook_assistance desde «https://api.observablehq.com/d/0020a082debaba03.js?v=3»; const customWidth = function (selector) window.addEventListener(«redimensionar», redimensionado); return function() ; }); }; const utilidad_renders = ; new Runtime(Object.assign(nueva biblioteca, )).module(notebook_helpfulness, name => ); const asistencia_renders = ; new Runtime(Object.assign(new Library, )).module(notebook_assistance, name => );

¿Que te ha parecido?

Deja un comentario