Avsnitt
-
Børsen i København brændte i går, og der er stemning for at den skal genopbygges. Men hvordan gør man det og kan man bruge AI til at hjælpe med det? Det taler vi om i denne uges afsnit af Verbos Podcast.
Links:
NERFs: https://youtu.be/wKsoGiENBHU?si=eMCYZDPnJ4NY7PbP
Gaussian Splatting: https://youtu.be/VkIJbpdTujE?si=F0vrTvm1QQwVuGrb
Nerfstudio: https://docs.nerf.studio/
Point-E: https://openai.com/research/point-e
Depth Estimation Model: https://huggingface.co/Intel/dpt-large
-
I denne omgang af Verbos gennemgår vi en håndfuld af de vigtigste nyheder i AI- og softwareverdenen. Vi taler om:
DBRX: en ny åben state-of-the-art LLM fra Databricks/MosaicML. JAMBA: en ny åben produktionsmoden generativ state-space/transformer sprogmodel fra israelske AI21 Labs, som kan håndtere kontekstvindueslængder, som er hidtil usete for åbne sprogmodeller. xz Utils-backdoor: En skjult backdoor blev implementeret i den populære kompressionssoftware xz Utils over en periode på tre år. Denne backdoor kunne have tilladt skaberen at oprette forbindelse til servere, der kører Linux-versioner med denne pakke installeret, og køre vilkårlig kode med superbrugerrettigheder. Heldigvis opdagede en udvikler fra Microsoft denne sårbarhed, før den nåede at blive frigivet i xz Utils. Et hold forskere har fundet ud af, at man kan slette op til 50% af lagene på Llama-modeller, uden at miste mærkbar performance, hvilket potentielt kan bane vejen for mere effektive LLM'er.Links:
https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm https://www.ai21.com/blog/announcing-jamba https://arxiv.org/pdf/2403.19887.pdf https://arstechnica.com/security/2024/04/what-we-know-about-the-xz-utils-backdoor-that-almost-infected-the-world/ https://github.com/libarchive/libarchive/pull/1609 -
Hvem bliver den første til at få en røvfuld af en AI-robot? I denne uge har vi ladet os inspirere af virksomheden Figures speech-to-speech-demonstration af deres robot, Figure 01, som de har udviklet i samarbejde med OpenAI. Vi taler om vision-language-action (VLA) modeller, som højst sandsynligt er den model, som ligger bag Figure 01s sprog-billede-action-forståelse. Vi har fået Nicolai Nielsen med på episoden, der har en solid baggrund i computer vision og også ved en hel del om robotter, og derfor kan hjælpe os med at forstå, hvad der sker i forskningen på dette område!
Shownote Links:
Figure 01 speech-to-speech demo: https://youtu.be/Sq1QZB5baNw?si=OxcqQU_9tCjFuXU0
3D-VLA: A 3D Vision-Language-Action Generative World Model: https://arxiv.org/abs/2403.09631
Find Nicolai Nielsen her:YouTube: https://www.youtube.com/@NicolaiAI
LinkedIn: https://www.linkedin.com/in/nicolaiai/
-
I dette afsnit af Verbos Podcast bytter vi om på rollerne, og det er i dag vores gæst, Martin Kongshave, som skal interviewe Jonas og Kasper. Martin Kongshave har en baggrund i filosofi og som lærer og er interesseret i at forstå teknikken bag sprogmodellerne, især med henblik på at anvende generativ AI i skolesammenhæng. Det blev til en række gode spørgsmål og førte til mange gode snakke om generativ AI og sprogmodeller!
-
Vi er tilbage fra vinterferie og i ugens episode står programmet hovedsageligt på model releases, både åbne, lukkede og announcements 🥳 Derudover tager vi også en snake om et forslag fra SF som blev behandlet i folketinget om hvor vidt Staten skal udvikle en dansk LLM.
Links:
Sora: https://openai.com/research/video-generation-models-as-world-simulators
Gemma: https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
Stable Diffusion 3: https://stability.ai/news/stable-diffusion-3
Mistral Large: https://mistral.ai/news/mistral-large/
Folketingsforslag om Dansk LLM: https://www.ft.dk/forhandlinger/20231/20231M059_2024-02-22_1000.htm
Ny dansk SOTA LLM: https://huggingface.co/Mabeck/Heidrun-Mistral-7B-chat
-
Hvilke teknikker findes der til at teste sprogmodellers evne til at forstå sprog? Er de åbne engelske og multilingvale modeller gode på de skandinaviske sprog? Eller bør vi yde en indsats i de nordiske lande for at få sprogmodellerne up to speed med at forstå f.eks. dansk? Dan Saattrup Nielsen har udviklet ScandEval, et framework til evaluering af nordiske sprogmodeller. Han ved virkelig meget om evaluering af sprogmodeller, og i dette afsnit af Verbos fortæller han netop om dette!
ScandEval GitHub: https://github.com/ScandEval/ScandEval
ScandEval NLG Leaderboard: https://scandeval.com/mainland-scandinavian-nlg/
ScandEval NLU Leaderboard: https://scandeval.com/mainland-scandinavian-nlu/
-
Mange virksomheder, der udgiver LLM'er på Hugging Face, taler om, at deres modeller er "open source". Mange mener dog, at disse modeller ikke er open source, da essentielle komponenter som f.eks. kildekoden og datasættet, som modellerne er trænet på, ofte ikke er frigivet sammen med modellen. Allen Institute for AI har dog lige udgivet deres open source LLM-serie "OLMo", som står for Open Language Model, hvor de er gået efter at dele så meget som muligt, altså ikke bare modelartefaktet, men også kode, data, logs og hele molevitten.
OLMo
https://huggingface.co/allenai/OLMo-7B
https://huggingface.co/datasets/allenai/dolma
https://arxiv.org/abs/2402.00838
Open Source Initiative
https://opensource.org/osd/
https://opensource.org/licenses/
Dansk Data Historisk Forening
https://datamuseum.dk/ -
AI eksploderer lige nu, og mange leder efter kvalificeret arbejdskraft til at drive udviklingen. Men hvad vil det sige at være Data Scientist, Machine Learning Engineer, Data Engineer osv.? Hvilke skills er værdifulde at have, hvis man gerne vil positionere sig som AI-udvikler? Og hvad er kendetegn ved virksomheder, som er attraktive over for AI-ingeniører? Det, og mere, skal vi tale om i denne uges afsnit af Verbos Podcast 🔥
-
I denne episode tager vi en snak med to af de primære folk bag det danske sprogteknologiske projekt Danish Foundation Models (DFM). I DFM-projektet arbejdes der med at udvikle danske sprogmodeller, blandt andet en dansk Large Language Model (LLM), men også en række andre typer sprogmodeller, som vi skal tale med Kenneth og Lasse om. Lyt med på dagens afsnit og bliv klogere på Danish Foundation Models-projektet 🚀
DFM website: https://centre-for-humanities-computing.github.io/danish-foundation-models/
DFM repository: https://github.com/centre-for-humanities-computing/danish-foundation-models
-
2023 var et vildt AI år, vi tror at 2024 bliver endnu vildere! Her er de teknologier som vi tror blive vigtige og derfor gerne vil nørde i 2024!
Links:
- verbospodcast.dk
- https://github.com/huggingface/candle
- https://github.com/jmorganca/ollama
- https://github.com/openai/weak-to-strong
- https://github.com/microsoft/autogen
-
I denne uge er vi tilbage og zoomer ind på et udvalg af AI nyheder. Vi taler om Googles nye model serie Gemini, Mistrals nye Mixture of Experts model, Hugging Face's nye PyTorch-agtige framework "Candle" som er skrevet i Rust, og så en ny samling af organisationer kaldet AI Alliance, som bl.a. vil arbejde imod mere åben AI.
-
I denne uges episode af Verbos sidder Jonas og Kasper fysisk sammen hos Kasper! Vi benytter lejligheden til at imødekomme en lytterhenvendelse om at gennemgå nogle af de tekniske AI-ord, vi bruger flittigt i podcasten! Derfor går vi i dag igennem en liste af 20 tekniske AI-termer og forklarer dem så grundigt, at vi forhåbentlig kan gøre os forståelige over for flere af vores lyttere 🤗
Her er en liste over de begreber vi forklarer 👇
- Neuralt netværk
- Embeddings
- Vector databaser
- Embeddings
- RAG
- Transformer
- Attention
- Tokens / Tokenizer
- Backpropagation
- Recurrent Neural Network
- AI vs ML
- LLM
- RLHF
- Reinforcement Learning
- Supervised vs Unsupervised Learning vs Self-supervised Learning
- Prompt Engineering
- Fine tuning
- Pretraining
- Encoder
- Decoder -
I den seneste episode af Verbos Podcast, tager vi en dybdegående snak med Morten Lantow om MLOps og LLMOps. Som Head of MLOps hos DSV deler Morten sine erfaringer med implementering af Large Language Models og giver indsigt i, hvordan man kan håndtere machine learning i stor skala. Denne episode tilbyder praktiske perspektiver og principper for alle, der arbejder med eller interesserer sig for avanceret machine learning.
Links
Morten Lantows Python pakke Labton: https://pypi.org/project/labton/
-
AI og IT-industrien stormer frem, men hvad med de bæredygtige aspekter i branchen? Hvordan kan vi tænke bæredygtighed ind i softwareudvikling og data science? Er der nogle udviklingsmønstre, som ikke er bæredygtige på sigt? Hvad sker der for eksempel med al den data, som indsamles og gemmes i stor stil? I denne uge har vi besøg af data scientist og AI-bæredygtighedsskribent, Kasper Groes Albin Ludvigsen, til en snak om netop dette!
-
Mandag den 6. november afholdte OpenAI deres DevDay og de offentliggjorde et væld af nye API og produkt opdatereringer! Blandt dem var GPTs, GPT Store, GPT-4 Turbo, GPT-4 Vision, og meget meget mere! Vi går igennem det hele og opdaterer dig på de vigtiste ting 💪
Links:
https://openai.com/blog/new-models-and-developer-products-announced-at-devday https://openai.com/blog/introducing-gpts -
I denne uge har vi besøg af Dan Rose, som til dagligt er CEO i Todai. Vi tager debatten om hvorvidt staten bør investere i at udvikle en dansk chatbot, generativ sprogmodel, LLM, kært barn har mange navne. Vi er klar over at den snak efterhånden er en gammel traver i Verbos Podcast, men denne gang tager vi et noget mere kritisk syn på sagen og får talt om alle de misforståelser og den forvirring som vi mener der er i debatten.
- Visa fler