Avsnitt
-
I denne uge taler vi om nye LLM-releases, et nyt vidundertrick til at øge performance af LLM-træning og -inference, hvordan AI-agenter kan gå sammen om at udnytte sårbarheder i software, og så introducerer vi et nyt koncept i Verbos Podcast, nemlig “Ugens Repos”. Denne episode er den sidste, inden vi holder sommerferie, men vi er stærkt tilbage den 31. juli 💪
Links:
Better & Faster Large Language Models via Multi-token Prediction: https://arxiv.org/abs/2404.19737
Teams of LLM Agents can Exploit Zero-Day Vulnerabilities: https://arxiv.org/abs/2406.01637
Nemotron-4 340B: https://research.nvidia.com/publication/2024-06_nemotron-4-340b?utm_source=substack&utm_medium=email
Ugens Repos:
NVIDIA Warp: https://github.com/NVIDIA/warp
Vanna AI: https://github.com/vanna-ai/vanna
Instructor: https://github.com/jxnl/instructor
Polars: https://github.com/pola-rs/polars
-
Apple offentliggjorde til 2024 Worldwide Developers Conference et nyt samarbejde med OpenAI og ikke mindst det, de kalder Apple Intelligence, som er Apples første bud på en integration af generativ AI på deres devices. Det er et mix af Apples proprietære on-device og cloud LLM'er, samt ChatGPT til at løse ekstra svære opgaver. Vi skal tale om Apple Intelligence, modellerne bag, som Apple har været meget åbne om i en researchartikel, og så skal vi tale om, hvad vi forestiller os bliver fremtiden indenfor generativ AI 🤖. Og så har vi fået ingen ringere end Christian Bech Nørhave i studiet til at hjælpe os med at vurdere Apple Intelligence og tage et kig ind i krystalkuglen 🔮.
Apple ML research artikel: https://machinelearning.apple.com/research/introducing-apple-foundation-models
-
Saknas det avsnitt?
-
Dansk Erhverv har samlet en AI-Koalition, som har givet 25 anbefalinger om AI rettet imod henholdsvis politik, EU, lovgivning, den offentlige sektor og virksomheder. Vi gennemgår anbefalingerne og giver vores besyv med et smil på læben 😊
-
Google DeepMind har for nylig udgivet AlphaFold 3 🚀 Det er super spændende, men i Verbos Podcast har vi måttet indse, at vi ved alt for lidt om, hvad AlphaFold-modeller er, hvordan de virker, og hvilke problemer de løser. Derfor har vi i denne uge allieret os med Alexander Mathiasen, som skal hjælpe med at gøre os klogere på emnet! Det blev til en times meget spændende og lærerig snak, som vi har glædet os til at vise jer 🤩
-
I mandags lancerede OpenAI deres nye GPT-4o model og den opdaterede ChatGPT stemmeassistent. I denne uges afsnit af Verbos deler vi vores førstehåndsindtryk og vurderinger af disse spændende nyheder fra OpenAI.
-
I denne uger taler vi om Llama 3 og det ny danske sprogmodels konsortium som netop er annonceret!
-
Denne uges afsnit er optaget til konferencen Applied AI Nordics 2024 i DR Byen. Vi har 4 af konferencens talere med foran mikrofonen til at dele deres indsigt i anvendt AI. Gæsterne er Joachim Bingel fra Podimo, Natasha Norsker fra Todai og Women in AI Denmark, Rasmus Nyeland fra Crayon og Casper Guldager fra KPMG NewTech.
-
I dag har vi fået Jørgen Kragh Jakobsen i studiet til at gøre os klogere på, hvordan man udvikler mikrochips. Jørgen har mange års erfaring inden for IC-design (mikrochipdesign) og har en dyb indsigt i udviklingsprocessen, markedet for mikrochips, mikrochipudvikling i Danmark og ikke mindst de ændringer inden for feltet, som er opstået i de seneste par år på grund af open source. Dette afsnit skal du glæde dig til! Vi var i hvert fald lutter øre og helt blæst bagover over alt den viden, Jørgen delte under samtalen. God fornøjelse!
Find Jørgen på LinkedIn: https://www.linkedin.com/in/j%C3%B8rgen-kragh-jakobsen-52a972/
-
Børsen i København brændte i går, og der er stemning for at den skal genopbygges. Men hvordan gør man det og kan man bruge AI til at hjælpe med det? Det taler vi om i denne uges afsnit af Verbos Podcast.
Links:
NERFs: https://youtu.be/wKsoGiENBHU?si=eMCYZDPnJ4NY7PbP
Gaussian Splatting: https://youtu.be/VkIJbpdTujE?si=F0vrTvm1QQwVuGrb
Nerfstudio: https://docs.nerf.studio/
Point-E: https://openai.com/research/point-e
Depth Estimation Model: https://huggingface.co/Intel/dpt-large
-
I denne omgang af Verbos gennemgår vi en håndfuld af de vigtigste nyheder i AI- og softwareverdenen. Vi taler om:
DBRX: en ny åben state-of-the-art LLM fra Databricks/MosaicML. JAMBA: en ny åben produktionsmoden generativ state-space/transformer sprogmodel fra israelske AI21 Labs, som kan håndtere kontekstvindueslængder, som er hidtil usete for åbne sprogmodeller. xz Utils-backdoor: En skjult backdoor blev implementeret i den populære kompressionssoftware xz Utils over en periode på tre år. Denne backdoor kunne have tilladt skaberen at oprette forbindelse til servere, der kører Linux-versioner med denne pakke installeret, og køre vilkårlig kode med superbrugerrettigheder. Heldigvis opdagede en udvikler fra Microsoft denne sårbarhed, før den nåede at blive frigivet i xz Utils. Et hold forskere har fundet ud af, at man kan slette op til 50% af lagene på Llama-modeller, uden at miste mærkbar performance, hvilket potentielt kan bane vejen for mere effektive LLM'er.Links:
https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm https://www.ai21.com/blog/announcing-jamba https://arxiv.org/pdf/2403.19887.pdf https://arstechnica.com/security/2024/04/what-we-know-about-the-xz-utils-backdoor-that-almost-infected-the-world/ https://github.com/libarchive/libarchive/pull/1609 -
Hvem bliver den første til at få en røvfuld af en AI-robot? I denne uge har vi ladet os inspirere af virksomheden Figures speech-to-speech-demonstration af deres robot, Figure 01, som de har udviklet i samarbejde med OpenAI. Vi taler om vision-language-action (VLA) modeller, som højst sandsynligt er den model, som ligger bag Figure 01s sprog-billede-action-forståelse. Vi har fået Nicolai Nielsen med på episoden, der har en solid baggrund i computer vision og også ved en hel del om robotter, og derfor kan hjælpe os med at forstå, hvad der sker i forskningen på dette område!
Shownote Links:
Figure 01 speech-to-speech demo: https://youtu.be/Sq1QZB5baNw?si=OxcqQU_9tCjFuXU0
3D-VLA: A 3D Vision-Language-Action Generative World Model: https://arxiv.org/abs/2403.09631
Find Nicolai Nielsen her:YouTube: https://www.youtube.com/@NicolaiAI
LinkedIn: https://www.linkedin.com/in/nicolaiai/
-
I dette afsnit af Verbos Podcast bytter vi om på rollerne, og det er i dag vores gæst, Martin Kongshave, som skal interviewe Jonas og Kasper. Martin Kongshave har en baggrund i filosofi og som lærer og er interesseret i at forstå teknikken bag sprogmodellerne, især med henblik på at anvende generativ AI i skolesammenhæng. Det blev til en række gode spørgsmål og førte til mange gode snakke om generativ AI og sprogmodeller!
-
Vi er tilbage fra vinterferie og i ugens episode står programmet hovedsageligt på model releases, både åbne, lukkede og announcements 🥳 Derudover tager vi også en snake om et forslag fra SF som blev behandlet i folketinget om hvor vidt Staten skal udvikle en dansk LLM.
Links:
Sora: https://openai.com/research/video-generation-models-as-world-simulators
Gemma: https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
Stable Diffusion 3: https://stability.ai/news/stable-diffusion-3
Mistral Large: https://mistral.ai/news/mistral-large/
Folketingsforslag om Dansk LLM: https://www.ft.dk/forhandlinger/20231/20231M059_2024-02-22_1000.htm
Ny dansk SOTA LLM: https://huggingface.co/Mabeck/Heidrun-Mistral-7B-chat
-
Hvilke teknikker findes der til at teste sprogmodellers evne til at forstå sprog? Er de åbne engelske og multilingvale modeller gode på de skandinaviske sprog? Eller bør vi yde en indsats i de nordiske lande for at få sprogmodellerne up to speed med at forstå f.eks. dansk? Dan Saattrup Nielsen har udviklet ScandEval, et framework til evaluering af nordiske sprogmodeller. Han ved virkelig meget om evaluering af sprogmodeller, og i dette afsnit af Verbos fortæller han netop om dette!
ScandEval GitHub: https://github.com/ScandEval/ScandEval
ScandEval NLG Leaderboard: https://scandeval.com/mainland-scandinavian-nlg/
ScandEval NLU Leaderboard: https://scandeval.com/mainland-scandinavian-nlu/
-
Mange virksomheder, der udgiver LLM'er på Hugging Face, taler om, at deres modeller er "open source". Mange mener dog, at disse modeller ikke er open source, da essentielle komponenter som f.eks. kildekoden og datasættet, som modellerne er trænet på, ofte ikke er frigivet sammen med modellen. Allen Institute for AI har dog lige udgivet deres open source LLM-serie "OLMo", som står for Open Language Model, hvor de er gået efter at dele så meget som muligt, altså ikke bare modelartefaktet, men også kode, data, logs og hele molevitten.
OLMo
https://huggingface.co/allenai/OLMo-7B
https://huggingface.co/datasets/allenai/dolma
https://arxiv.org/abs/2402.00838
Open Source Initiative
https://opensource.org/osd/
https://opensource.org/licenses/
Dansk Data Historisk Forening
https://datamuseum.dk/ -
AI eksploderer lige nu, og mange leder efter kvalificeret arbejdskraft til at drive udviklingen. Men hvad vil det sige at være Data Scientist, Machine Learning Engineer, Data Engineer osv.? Hvilke skills er værdifulde at have, hvis man gerne vil positionere sig som AI-udvikler? Og hvad er kendetegn ved virksomheder, som er attraktive over for AI-ingeniører? Det, og mere, skal vi tale om i denne uges afsnit af Verbos Podcast 🔥
-
I denne episode tager vi en snak med to af de primære folk bag det danske sprogteknologiske projekt Danish Foundation Models (DFM). I DFM-projektet arbejdes der med at udvikle danske sprogmodeller, blandt andet en dansk Large Language Model (LLM), men også en række andre typer sprogmodeller, som vi skal tale med Kenneth og Lasse om. Lyt med på dagens afsnit og bliv klogere på Danish Foundation Models-projektet 🚀
DFM website: https://centre-for-humanities-computing.github.io/danish-foundation-models/
DFM repository: https://github.com/centre-for-humanities-computing/danish-foundation-models
- Visa fler
